Условное матожидание

Усло́вное математи́ческое ожида́ние в теории вероятностей - это среднее значение случайной величины относительно условного распределения.

Определения

Будем считать, что дано вероятностное пространство $(\Omega,\mathcal{F},\mathbb{P})$. Пусть $X:\Omega \to \mathbb{R}$ - интегрируемая случайная величина, то есть $\mathbb{E}\vert X \vert < \infty$. Пусть также $\mathcal{G} \subset \mathcal{F}$ - под-σ-алгебра σ-алгебры $\mathcal{F}$.

УМО относительно σ-алгебры

Случайная величина $\hat{X}$ называется условным математическим ожиданием X относительно σ-алгебры $\mathcal{G}$, если

• $\hat{X}$ измерима относительно $\mathcal{G}$.
• $\forall A \in \mathcal{G},\quad \mathbb{E}\left[\hat{X} \mathbf{1}_A\right] = \mathbb{E}[X \mathbf{1}_A]$,

где $\mathbf{1}_A$ - индикатор события A. Условное математическое ожидание обозначается $\mathbb{E}[X \mid \mathcal{G}]$.

Пример. Пусть $\Omega = \{1,2,3,4\},\, \mathcal{F} = 2^{\Omega},\,\mathbb{P}(\omega) = 1/4,\, \omega = 1,\ldots, 4.$ Положим $\mathcal{G} = \{\varnothing, \{1,2\}, \{3,4\}, \Omega \}$. Тогда $\mathcal{G}$ - σ-алгебра, и $\mathcal{G} \subset \mathcal{F}$. Пусть случайная величина X имеет вид

$X(\omega) = \omega^2,\; \omega = 1,\ldots, 4$.

Тогда

$\mathbb{E}[X \mid \mathcal{G}](\omega) = \left\{ \begin{matrix} \frac{5}{2}, & \omega = 1,2 \\[5pt] \frac{25}{2}, & \omega = 3,4. \end{matrix} \right.$

УМО относительно семейства событий

Пусть $\mathcal{C} = \{C_{\alpha}\} \subset \mathcal{F}$ - произвольное семейство событий. Тогда условным математическим ожиданием X относительно $\mathcal{C}$ называется

$\mathbb{E}[X \mid \mathcal{C}] \equiv \mathbb{E}[X \mid \sigma(\mathcal{C})]$,

где $\sigma(\mathcal{C})$ - минимальная сигма-алгебра, содержащая $\mathcal{C}$.

Пример. Пусть $\Omega = \{1,2,3,4\},\, \mathcal{F} = 2^{\Omega},\,\mathbb{P}(\omega) = 1/4,\, \omega = 1,\ldots, 4.$ Пусть также C = {1,2,3}. Тогда $\sigma(C) = \{\varnothing, \{1,2,3\},\{4\},\Omega\} \subset \mathcal{F}$. Пусть случайная величина X имеет вид

$X(\omega) = \omega^2,\; \omega = 1,\ldots, 4$.

Тогда

$\mathbb{E}[X \mid \mathcal{G}](\omega) = \left\{ \begin{matrix} \frac{14}{3}, & \omega = 1,2,3 \\[5pt] 16, & \omega = 4. \end{matrix} \right.$

УМО относительно случайной величины

Пусть $Y:\Omega \to \mathbb{R}$ другая случайная величина. Тогда условным математическим ожиданием X относительно Y называется

$\mathbb{E}[X \mid Y] \equiv \mathbb{E}[X \mid \sigma(Y)]$,

где σ(Y) - σ-алгебра, порождённая случайной величиной Y.

Другое определение УМО X относительно Y:

$\mathbb{E}(X \mid Y) = \mathbb{E}(X \mid Y = y) \mid y = Y$

Такое определение конструктивно описывает алгоритм нахождения УМО:

• найти математическое ожидание случайной величины X, принимая Y за константу y;
• Затем в полученном выражении y обратно заменить на случайную величину Y.

Пример: $X \equiv N(a, \sigma^2)$

$\mathbb{E}\left[ \frac XY \mid Y \right] = \mathbb{E}\left[ \frac Xy \right] \mid_{y = Y} = \frac{1}{y}\mathbb{E}[ X ] \mid_{y = Y} = \frac{a}{y} \mid_{y = Y} = \frac{a}{Y}$

Условная вероятность

Пусть $B \in \mathcal{F}$ - произвольное событие, и $\mathbf{1}_B$ - его индикатор. Тогда условной вероятностью B относительно $\mathcal{G}$ называется

$\mathbb{P}(B \mid \mathcal{G}) \equiv \mathbb{E}[\mathbf{1}_B \mid \mathcal{G}]$.

Замечания

• Условное математическое ожидание - это случайная величина, а не число!
• Условное математическое ожидание определено с точностью до событий вероятности нуль. Таким образом, если $\hat{X}_1 = \mathbb{E}[X \mid \mathcal{G}]$ и $\hat{X}_1 = \hat{X}_2$ $\mathbb{P}$-почти всюду, то $\hat{X}_2 = \mathbb{E}[X \mid \mathcal{G}]$. Отождествив случайные величины, различающиеся лишь на событиях вероятности нуль, получаем единственность условного математического ожидания.
• Взяв A = Ω, получаем по определению:

$\mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X \mid \mathcal{G}]]$,

и в частности справедлива формула полной вероятности:

$\mathbb{P}(B) = \mathbb{E}[\mathbb{P}(B\mid \mathcal{G})]$.

• Пусть σ-алгебра $\mathcal{G} = \sigma(C_1,\ldots, C_n)$ порождена разбиением $\{C_i\}_{i=1}^{\infty}$. Тогда

$\mathbb{E}[X \mid \mathcal{G}] = \sum_{i=1}^{\infty} \mathbb{E}[X \mid C_i] \mathbf{1}_{C_i}$.

В частности формула полной вероятности принимает классический вид:

$\mathbb{P}(A \mid \mathcal{G}) = \sum\limits_{i=1}^{\infty} \mathbb{P}(A \mid C_i) \mathbf{1}_{C_i}$,

а следовательно

$\mathbb{P}(A) = \sum\limits_{i=1}^{\infty} \mathbb{P}(A \mid C_i)\, \mathbb{P}(C_i)$.

Основные свойства

• Если $\hat{X} = \mathbb{E}[X \mid Y]$, то существует борелевская функция $h:\mathbb{R} \to \mathbb{R}$, такая что

$\hat{X} = h(Y)$.

Условное математическое ожидание X относительно события {Y = y} по определению равно

$\mathbb{E}[X \mid Y = y] \equiv h(y)$.

• Если $X \ge 0$ п.н., то $\mathbb{E}[X \mid \mathcal{G}] \ge 0$ п.н.
• Если X независима от $\mathcal{G}$, то

$\mathbb{E}[X \mid \mathcal{G}] = \mathbb{E}[X]$ п.н.

В частности, если X,Y независимые случайные величины, то

$\mathbb{E}[X \mid Y] = \mathbb{E}[X]$ п.н.

• Если $\mathcal{G}_1,\mathcal{G}_2$ - две σ-алгебры, такие что $\mathcal{G}_1 \subset \mathcal{G}_2 \subset \mathcal{F}$, то

$\mathbb{E}[\mathbb{E}[X \mid \mathcal{G}_2]\mid \mathcal{G}_1] = \mathbb{E}[X \mid \mathcal{G}_1]$.

• Если X - $\mathcal{G}$-измерима, и Y - случайная величина, такая что $Y,XY \in L^1$, то

$\mathbb{E}[XY \mid \mathcal{G}] = X \, \mathbb{E}[Y \mid \mathcal{G}]$.

• "Математическое ожидание убирает условие". Это правило верно для УМО относительно случайной величины (УМО в таком случае будет случайной величиной) и для условной вероятности относительно случайной величины

$\mathbb{E}[ \mathbb{E}(X \mid Y) ] = \mathbb{E}( X )$.

Дополнительные свойства

• Теорема Леви о монотонной сходимости;
• Теорема Лебега о мажорируемой сходимости;
• Лемма Фату;
• Неравенство Йенсена.

УМО для дискретных величин

Пусть Y - дискретная случайная величина, чьё распределение задаётся функцией вероятности $\mathbb{P}(Y = y_j) \equiv p_Y(y_j) = p_j > 0,\; j = 1,2,\ldots$. Тогда система событий {Y = y_j} является разбиением Ω, и

$\mathbb{E}[X \mid Y] = \sum\limits_{j=1}^{\infty} \mathbb{E}[X \mid Y = y_j] \mathbf{1}_{\{Y = y_j\}}$,

а

$\mathbb{E}[X \mid Y = y_j] = \mathbb{E}_{j}[X]$,

где $\mathbb{E}_j$ означает математическое ожидание, взятое относительно условной вероятности $\mathbb{P}_j(\cdot) = \mathbb{P}(\cdot \mid Y = y_j)$.

Если случайная величина X также дискретна, то

$\mathbb{E}[X \mid Y = y_j] = \sum\limits_{i=1}^{\infty} x_i\, \mathbb{P}(X = x_i \mid Y = y_j) = \sum\limits_{i=1}^{\infty} x_i\, p_{X \mid Y}(x_i \mid y_j)$,

где $p_{X \mid Y}$ - условная функция вероятности случайной величины X относительно Y.

УМО для абсолютно непрерывных случайных величин

Пусть X,Y - случайные величины, такие что вектор $(X,Y)^{\top}$ абсолютно непрерывен, и его распределение задаётся плотностью вероятности f_X,Y(x,y). Введём условную плотность $f_{X \mid Y}$, положив по определению

$f_{X \mid Y}(x \mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}$,

где f_Y - плотность вероятности случайной величины Y. Тогда

$\mathbb{E}[X \mid Y] = h(Y)$,

где функция h имеет вид

$h(y) = \int\limits_{-\infty}^{\infty} x\, f_{X\mid Y}(x \mid y)\, dx$.

В частности,

$\mathbb{E}[X \mid Y = y_j] = \int\limits_{-\infty}^{\infty} x\, f_{X\mid Y}(x \mid y_j)\, dx$.

УМО в L²

Рассмотрим пространство случайных величин с конечным вторым моментом L². В нём определены скалярное произведение

$\langle X, Y\rangle \equiv \mathbb{E}[XY],\; \forall X,Y \in L^2$,

и порождённая им норма

$\|X\| = \sqrt{\mathbb{E}\left[X^2\right]},\; \forall X \in L^2$.

Множество всех случайных величин $L^2_{\mathcal{G}}$ с конечным вторым моментом и измеримых относительно $\mathcal{G}$, где $\mathcal{G} \subset \mathcal{F}$, является подпространством L². Тогда оператор $\Pi_{L^2_{\mathcal{G}}}:L^2 \to L^2$, задаваемый равенством

$\Pi_{L^2_{\mathcal{G}}}(X) = \mathbb{E}[X \mid \mathcal{G}]$,

является оператором ортогонального проектирования на $L^2_{\mathcal{G}}$. В частности:

• Условное математическое ожидание $\mathbb{E}[X \mid \mathcal{G}]$ - это наилучшее средне-квадратичное приближение X $\mathcal{G}$-измеримыми случайными величинами:

$\|X - \mathbb{E}[X\mid \mathcal{G}]\| = \inf\limits_{Z \in L^2_{\mathcal{G}}} \|X - Z\|$.

• Условное математическое ожидание сохраняет скалярное произведение:

$\langle X, Z \rangle = \langle \mathbb{E}[X\mid \mathcal{G}] , Z\rangle,\; \forall Z \in L^2_{\mathcal{G}}$.

• Условное математическое ожидание идемпотентно:

$\Pi^2_{L^2_{\mathcal{G}}} = \Pi_{L^2_{\mathcal{G}}}$.

См. также

• Условное распределение.