Теория вероятностей

1. Основные понятия теории вероятностей

Теория вероятностей — математическая дисциплина, изучающая закономерности случайных явлений. Основные понятия включают:

  1. Случайное событие — исход, который может произойти или не произойти в результате эксперимента.
  2. Вероятность — числовая характеристика степени возможности наступления события (обозначается P(A)).
  3. Пространство элементарных исходов (Ω) — множество всех возможных исходов эксперимента.
  4. Алгебра событий — система подмножеств Ω, замкнутая относительно операций объединения, пересечения и дополнения.
  5. Случайная величина — функция, отображающая пространство элементарных исходов в множество действительных чисел.

2. Аксиоматика Колмогорова

Современная теория вероятностей основана на аксиоматике Андрея Колмогорова (1933 г.):

  1. Для любого события A: \( P(A) \geq 0 \) (неотрицательность).
  2. \( P(\Omega) = 1 \) (нормированность).
  3. Для счетной последовательности попарно несовместных событий \( A_1, A_2, \ldots \): \( P\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} P(A_i) \) (счетная аддитивность).

Следствия: \( P(\emptyset) = 0 \), \( P(\overline{A}) = 1 - P(A) \), \( P(A \cup B) = P(A) + P(B) - P(A \cap B) \).

3. Классическое определение вероятности

Если пространство Ω состоит из N равновозможных исходов, и событию A благоприятствует M исходов, то:

  1. \( P(A) = \frac{M}{N} \)
  2. Пример: вероятность выпадения четного числа при бросании кубика равна 3/6 = 1/2.
  3. Ограничения: требует конечного числа равновозможных исходов.

4. Геометрическая вероятность

Обобщение классического определения на бесконечные пространства:

  1. Для области G в \( \mathbb{R}^n \): \( P(A) = \frac{\mu(A)}{\mu(G)} \), где μ — мера (длина, площадь, объем).
  2. Пример: вероятность попадания в круг радиуса r, вписанный в квадрат со стороной 2r: \( \frac{\pi r^2}{(2r)^2} = \frac{\pi}{4} \).
  3. Парадокс Бертрана показывает необходимость аккуратного выбора меры.

5. Условная вероятность и независимость

Условная вероятность события A при условии B (P(B) > 0):

  1. \( P(A|B) = \frac{P(A \cap B)}{P(B)} \)
  2. События A и B независимы, если \( P(A \cap B) = P(A)P(B) \).
  3. Для независимых событий: \( P(A|B) = P(A) \).
  4. Попарная независимость ≠ независимость в совокупности.

6. Формула полной вероятности и теорема Байеса

Если \( H_1, \ldots, H_n \) — полная группа несовместных событий:

  1. Формула полной вероятности: \( P(A) = \sum_{i=1}^n P(H_i)P(A|H_i) \).
  2. Теорема Байеса: \( P(H_k|A) = \frac{P(H_k)P(A|H_k)}{P(A)} = \frac{P(H_k)P(A|H_k)}{\sum_{i=1}^n P(H_i)P(A|H_i)} \).
  3. Применяется в байесовской статистике, медицинской диагностике, спам-фильтрах.

7. Схема Бернулли и биномиальное распределение

Последовательность n независимых испытаний с двумя исходами (успех/неудача):

  1. Вероятность k успехов: \( P_n(k) = C_n^k p^k (1-p)^{n-k} \), где \( C_n^k \) — биномиальный коэффициент.
  2. Математическое ожидание: \( E[X] = np \).
  3. Дисперсия: \( D[X] = np(1-p) \).
  4. Пример: вероятность выпадения ровно 3 "орлов" в 5 бросках монеты: \( C_5^3 (0.5)^5 = 10/32 \).

8. Предельные теоремы: закон больших чисел

Устанавливает устойчивость средних значений при большом числе испытаний:

  1. Теорема Бернулли: \( \forall \epsilon > 0 \lim_{n \to \infty} P\left(\left|\frac{\mu_n}{n} - p\right| \geq \epsilon\right) = 0 \).
  2. Усиленный закон больших чисел: \( P\left(\lim_{n \to \infty} \frac{S_n}{n} = \mu\right) = 1 \).
  3. Где \( S_n = X_1 + \ldots + X_n \), \( \mu = E[X_i] \).

9. Центральная предельная теорема

При определенных условиях сумма большого числа случайных величин распределена нормально:

  1. Для независимых одинаково распределенных \( X_i \) с \( E[X_i] = \mu \), \( D[X_i] = \sigma^2 \): \( \frac{S_n - n\mu}{\sigma\sqrt{n}} \xrightarrow{d} N(0,1) \).
  2. Применяется для аппроксимации биномиального распределения при больших n.
  3. Объясняет распространенность нормального распределения в природе.

10. Случайные величины и их характеристики

Случайная величина — функция \( X: \Omega \to \mathbb{R} \):

  1. Функция распределения: \( F_X(x) = P(X \leq x) \).
  2. Дискретные СВ: принимают счетное число значений (пример: число успехов в схеме Бернулли).
  3. Непрерывные СВ: описываются плотностью вероятности \( f_X(x) = F'_X(x) \).
  4. Математическое ожидание: \( E[X] = \sum x_i p_i \) (дискр.) или \( \int x f(x) dx \) (непрер.).
  5. Дисперсия: \( D[X] = E[(X-E[X])^2] = E[X^2] - (E[X])^2 \).

11. Основные распределения дискретных случайных величин

Важные дискретные распределения:

  1. Бернулли: \( X \in \{0,1\} \), \( P(X=1) = p \), \( E[X] = p \), \( D[X] = p(1-p) \).
  2. Биномиальное: \( X \sim Bin(n,p) \), \( P(X=k) = C_n^k p^k (1-p)^{n-k} \).
  3. Пуассона: \( P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!} \), моделирует редкие события.
  4. Геометрическое: число испытаний до первого успеха, \( P(X=k) = (1-p)^{k-1}p \).

12. Основные распределения непрерывных случайных величин

Важные непрерывные распределения:

  1. Равномерное: \( f(x) = \frac{1}{b-a} \) на [a,b], \( E[X] = \frac{a+b}{2} \), \( D[X] = \frac{(b-a)^2}{12} \).
  2. Нормальное: \( f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \), \( X \sim N(\mu,\sigma^2) \).
  3. Экспоненциальное: \( f(x) = \lambda e^{-\lambda x} \) (x ≥ 0), моделирует время между событиями.
  4. Хи-квадрат: сумма квадратов независимых стандартных нормальных СВ.

13. Функции от случайных величин

Преобразования случайных величин:

  1. Для \( Y = g(X) \): \( F_Y(y) = P(g(X) \leq y) \).
  2. Для монотонной g: \( f_Y(y) = f_X(g^{-1}(y)) \cdot \left|\frac{d}{dy}g^{-1}(y)\right| \).
  3. Пример: если \( X \sim U(0,1) \), то \( Y = -\frac{1}{\lambda}\ln X \) имеет экспоненциальное распределение.

14. Многомерные распределения и ковариация

Совместное поведение нескольких случайных величин:

  1. Совместная функция распределения: \( F_{X,Y}(x,y) = P(X \leq x, Y \leq y) \).
  2. Ковариация: \( \text{Cov}(X,Y) = E[(X-E[X])(Y-E[Y])] = E[XY] - E[X]E[Y] \).
  3. Коэффициент корреляции: \( \rho_{X,Y} = \frac{\text{Cov}(X,Y)}{\sqrt{D[X]D[Y]}} \in [-1,1] \).
  4. Независимость ⇒ некоррелированность (обратное неверно).

15. Условные распределения и регрессия

Условные распределения и их свойства:

  1. Условная плотность: \( f_{Y|X}(y|x) = \frac{f_{X,Y}(x,y)}{f_X(x)} \).
  2. Условное мат. ожидание: \( E[Y|X=x] = \int y f_{Y|X}(y|x) dy \).
  3. Теорема о полном ожидании: \( E[Y] = E[E[Y|X]] \).
  4. Линейная регрессия: \( \hat{Y} = aX + b \), где \( a = \frac{\text{Cov}(X,Y)}{D[X]} \), \( b = E[Y] - aE[X] \).

16. Производящие и характеристические функции

Мощный аналитический аппарат для работы со случайными величинами:

  1. Производящая функция (для дискретных): \( G_X(s) = E[s^X] = \sum_{k=0}^{\infty} p_k s^k \).
  2. Характеристическая функция: \( \phi_X(t) = E[e^{itX}] \), существует всегда.
  3. Свойства: \( \phi_{aX+b}(t) = e^{ibt}\phi_X(at) \), \( \phi_{X+Y}(t) = \phi_X(t)\phi_Y(t) \) для независимых X,Y.
  4. Восстановление плотности: \( f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty} e^{-itx} \phi_X(t) dt \).

17. Сходимость случайных величин

Основные типы сходимости в теории вероятностей:

  1. Почти наверное: \( P(\lim_{n \to \infty} X_n = X) = 1 \).
  2. По вероятности: \( \forall \epsilon > 0 \lim_{n \to \infty} P(|X_n - X| \geq \epsilon) = 0 \).
  3. По распределению: \( \lim_{n \to \infty} F_{X_n}(x) = F_X(x) \) во всех точках непрерывности F_X.
  4. В L^p: \( \lim_{n \to \infty} E[|X_n - X|^p] = 0 \).
  5. Соотношения: почти наверное ⇒ по вероятности ⇒ по распределению.

18. Цепи Маркова

Процессы без последействия:

  1. Свойство Маркова: \( P(X_{n+1} = x | X_n = x_n, \ldots, X_0 = x_0) = P(X_{n+1} = x | X_n = x_n) \).
  2. Переходная матрица: \( P_{ij} = P(X_{n+1} = j | X_n = i) \).
  3. Стационарное распределение: вектор π такой, что \( \pi P = \pi \).
  4. Эргодическая теорема: при определенных условиях \( \lim_{n \to \infty} P_{ij}^n = \pi_j \).