Теорема Рао

Теорема Рао — Блэквелла — Колмогорова — утверждение в математической статистике, на основе которого можно улучшать статистические оценки параметров.

Пусть $X_1, \ldots, X_n$ последовательность независимых одинаково распределённых случайных величин с распределением, зависящим от некоторого неизвестного параметра $\theta \in \Theta.\,$ Пусть $\delta(X)$ — некоторая статистическая оценка этого неизвестного параметра с конечной матрицей вторичных моментов, а $T = \mathrm{T}(X)\;$ — достаточная статистика для параметра $\theta.$ Тогда существует $\delta_{1}(X) = \textrm{E}[\delta(X)|T(X)]$ и кроме того $\delta_{1}(X)$ является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть для любого вектора z необходимой размерности выполняется неравенство:

$z \textrm{E}[(\delta_{1}(X)-\theta)^{T}(\delta_{1}(X)-\theta)] z^T\leqslant z \textrm{E}[(\delta(X)-\theta)^{T}(\delta(X)-\theta)] z^T.$

Равенство выполняется лишь тогда, когда $\delta\,$ является измеримой функцией от T.

Доказательство

Доказательство для случая когда параметр является одним числом, то есть его размерность равна единице. Тогда

$\operatorname{E} [\delta_1(X)-\theta]^2 = \operatorname{E} \left[\textrm{E}(\delta(X)|T(X)) -\theta \right]^2 = \operatorname{E} \left[\textrm{E}(\delta(X) - \theta |T(X)) \right]^2 \leqslant \operatorname{E} \left[\textrm{E}((\delta(X) - \theta)^2 |T(X)) \right] = \operatorname{E}(\delta(X)-\theta)^2.\,\!$

Неравенство следует из того, что для любой случайной величины W, $\operatorname{var} W = \operatorname{E} W^2 -(\operatorname{E} W)^2 ] \geqslant 0,$ если взять $W = \textrm{E}(\delta(X) - \theta |T(X)).\,$ Отсюда также видим, что равенство выполняется лишь когда $\operatorname{var}\, W = 0,\,$ то есть когда $\delta(X) - \theta$ принимает одно значение для каждого значения T, то есть $\delta(X)$ является функцией от T.

См. также

• Статистическая оценка

Литература

• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.
• Nikulin, M.S. (2001), "Rao–Blackwell–Kolmogorov theorem", in Hazewinkel, Michiel, Encyclopaedia of Mathematics, Springer, ISBN 978-1556080104