Ковариация

Ковариа́ция (корреляционный момент, ковариационный момент) в теории вероятностей и математической статистике мера линейной зависимости двух случайных величин.

Определение

Пусть $X, Y$ — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:

$\mathrm{cov}(X,Y) = \mathbb{E} \left[(X - \mathbb{E}X) (Y - \mathbb{E}Y)\right]$,

в предположении, что все математические ожидания $E$ в правой части определены.

Замечания

• Если $X,Y\in L^2$, то есть имеют конечный второй момент, то ковариация определена и конечна.
• В гильбертовом пространстве несмещённых случайных величин с конечным вторым моментом $L^2_0 \equiv \{X \in L^2 \mid \mathbb{E}X = 0 \}$ ковариация имеет вид $\mathrm{cov}(X,Y) = \mathbb{E}[XY]$ и играет роль скалярного произведения.

Ковариация выборок

Пусть $X_1, X_2, ... ,X_n, Y_1, Y_2, ... ,Y_n$ — выборки $X_{(n)}$, $Y_{(n)}$ случайных величин, определенных на одном и том же вероятностном пространстве. Тогда ковариацией между выборками $X_{(n)}$ и $Y_{(n)}$ является:

$\mathrm{cov}(X_{(n)},Y_{(n)}) = \frac1n\sum_{t=1}^n \left(X_t-\overline{X}\right)\left(Y_t-\overline{Y}\right)$, где

$\overline{X} = \frac1n\sum_{t=1}^n X_t$, $\overline{Y} = \frac1n\sum_{t=1}^n Y_t$ — среднее значение выборок.

Очевидно, что

$\mathrm{cov}(X_{(n)},Y_{(n)}) = \frac1n\sum_{t=1}^n X_tY_t-\left(\frac1n\sum_{t=1}^nX_t\right)\left(\frac1n\sum_{t=1}^nY_t\right)$

Свойства

• Если $X,Y$ — независимые случайные величины, то:

  $\mathrm{cov}(X,Y) = 0$

• Но обратное утверждение, вообще говоря, неверно: из отсутствия ковариации не следует независимость. Пример:

  Пусть случайная величина $Z$ принимает значения $0, \frac{\pi}{2}, \pi$, каждое с вероятностью $\frac13$. Тогда $\cos{Z}$ будет принимать значения −1, 0 и 1, каждое с вероятностью $\frac13$, а $P(\sin{Z} = 1) = \frac13, P(\sin{Z} = 0) = \frac23, P(\sin{Z} = -1) = 0$. Тогда $\mathrm{cov}(\sin{Z},\cos{Z}) = 0$, но $0 = P(\sin{Z} = 1, \cos{Z} = 1) \ne P(\cos{Z} = 1) P(\sin{Z} = 1) = \frac19$

• Ковариация случайной величины с собой равна дисперсии: $\mathrm{cov}(X,X) = \mathrm{D}[X]$.
• Ковариация симметрична:

  $\mathrm{cov}(X,Y) = \mathrm{cov}(Y,X)$.

• В силу линейности математического ожидания, ковариация может быть записана как

  $\mathrm{cov}(X,Y) = \mathbb{E} \left[XY - X\mathbb{E}Y - Y\mathbb{E}X + \mathbb{E}X\mathbb{E}Y \right] = \mathbb{E} \left[ XY \right] - \mathbb{E}X \mathbb{E}Y - \mathbb{E}X \mathbb{E}Y + \mathbb{E}X \mathbb{E}Y = \mathbb{E} \left[ XY \right] - \mathbb{E}X \mathbb{E}Y$.

• Пусть $X_1,\ldots, X_n$ случайные величины, а $Y_1 = \sum\limits_{i=1}^n a_i X_i,\; Y_2 = \sum\limits_{j=1}^m b_j X_j$ их две произвольные линейные комбинации. Тогда

  $\mathrm{cov}(Y_1,Y_2) = \sum\limits_{i=1}^n\sum\limits_{j=1}^m a_i b_j \mathrm{cov}(X_i,X_j)$.

В частности ковариация (в отличие от коэффициента корреляции) не инвариантна относительно смены масштаба, что не всегда удобно в приложениях.

• Если $\alpha$ и $\beta$ — числа, то

  $\mathrm{cov}(X+\alpha,Y+\beta) = \mathrm{cov}(X,Y)$.

• Неравенство Коши-Буняковского: если принять в качестве скалярного произведения двух случайных величин ковариацию $\langle X, Y \rangle = \mathrm{cov}(X, Y)$, то квадрат нормы случайной величины будет равен дисперсии $\|X\|^2 = \mathrm{D}[X]$, и Неравенство Коши-Буняковского запишется в виде:

  $\mathrm{cov}^2(X,Y) \leqslant \mathrm{D}[X] \cdot \mathrm{D}[Y]$.

• ковариация(Y;X) = коэффициент корреляции (Х;Y)* ско(X)*СКО(Y)^[1]

Интерпретация

Если ковариация положительна, то с ростом значений одной случайной величины, значения второй имеют тенденцию возрастать, а если знак отрицательный — то убывать.

Однако только по абсолютному значению ковариации нельзя судить о том, насколько сильно величины взаимосвязаны, так как её масштаб зависит от их дисперсий. Масштаб можно отнормировать, поделив значение ковариации на произведение стандартных отклонений (квадратных корней из дисперсий). При этом получается так называемый коэффициент корреляции Пирсона, который всегда находится в интервале от −1 до 1.

Случайные величины, имеющие нулевую ковариацию, называются некоррелированными. Независимые случайные величины всегда некоррелированы, но не наоборот.

См. также

• Ковариационная матрица — обобщение понятия ковариации для векторов из случайных величин
• Корреляция
• Дисперсия случайной величины

Примечания

1. ↑ Коэффициент корреляции

Ссылки

• Weisstein, Eric W. Covariance (англ.) на сайте Wolfram MathWorld.

В данной статье или разделе имеется список источников или внешних ссылок, но источники отдельных утверждений остаются неясными из-за отсутствия сносок. Вы можете улучшить статью, внеся более точные указания на источники.