Несмещённая оценка

Несмещённая оце́нка в математической статистике — это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть $X_1,\ldots, X_n,\ldots$ — выборка из распределения, зависящего от параметра $\theta \in \Theta$. Тогда оценка $\hat{\theta} \equiv \hat{\theta}(X_1,\ldots,X_n)$ называется несмещённой, если

$\mathbb{E}\left[\hat{\theta}\right] = \theta,\quad \forall \theta \in \Theta$.

В противном случае оценка называется смещённой, и случайная величина $\hat{\theta} - \theta$ называется её смеще́нием.

Примеры

• Выборочное среднее $\bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i$ является несмещённой оценкой математического ожидания $X_i$, так как если $\mathbb{E}X_i = \mu<\infty, \; \forall i\in \mathbb{N}$, то $\mathbb{E}\bar{X} = \mu$.

• Пусть независимые случайные величины $X_i$ имеют конечную дисперсию $\mathrm{D}X_i = \sigma^2$. Построим оценки

$S_n^2 = \frac{1}{n} \sum\limits_{i=1}^n \left(X_i - \bar{X}\right)^2$ — выборочная дисперсия,

и

$S^2 = \frac{1}{n-1} \sum\limits_{i=1}^n \left(X_i - \bar{X}\right)^2$ — исправленная выборочная дисперсия.

Тогда $S^2_n$ является смещённой, а $S^2$ несмещённой оценками параметра $\sigma^2$. Смещенность $S^2_n$ можно доказать следующим образом:

$\begin{align} \operatorname{E}[S^2_n] &= \operatorname{E}\bigg[ \frac{1}{n}\sum_{i=1}^n (X_i-\overline{X})^2 \bigg] = \operatorname{E}\bigg[ \frac{1}{n}\sum_{i=1}^n \big((X_i-\mu)-(\overline{X}-\mu)\big)^2 \bigg] \\ &= \operatorname{E}\bigg[ \frac{1}{n}\sum_{i=1}^n (X_i-\mu)^2 - 2(\overline{X}-\mu)\frac{1}{n}\sum_{i=1}^n (X_i-\mu) + (\overline{X}-\mu)^2 \bigg] \\ &= \operatorname{E}\bigg[ \frac{1}{n}\sum_{i=1}^n (X_i-\mu)^2 - (\overline{X}-\mu)^2 \bigg] = \sigma^2 - \operatorname{E}\big[ (\overline{X}-\mu)^2 \big] \\ &= \sigma^2 - \frac{1}{n}\sigma^2 = \frac{n-1}{n}\sigma^2 < \sigma^2. \end{align}$

Где $\mu$ и $\overline{X}$ - среднее и его оценка соответственно.

Литература и некоторые ссылки

• M. G. Kendall. "The advanced theory of statistics (vol. I). Distribution theory (2nd edition)". Charles Griffin & Company Limited, 1945.
• M. G. Kendall and A. Stuart. "The advanced theory of statistics (vol. II). Inference and relationship (2nd edition)". Charles Griffin & Company Limited, 1967.
• A. Papoulis. Probability, random variables, and stochastic processes (3rd edition). McGrow-Hill Inc., 1991.
• G. Saporta. "Probabilités, analyse des données et statistiques". Éditions Technip, Paris, 1990.
• J. F. Kenney and E. S. Keeping. Mathematics of Statistics. Part I & II. D. Van Nostrand Company, Inc., 1961, 1959.
• I. V. Blagouchine and E. Moreau: "Unbiased Adaptive Estimations of the Fourth-Order Cumulant for Real Random Zero-Mean Signal", IEEE Transactions on Signal Processing, vol. 57, no. 9, pp. 3330–3346, September 2009.
• An Illuminating Counterexample