Метод моментов нахождения оценок

Ме́тод моме́нтов нахождения оценок в математической статистике - это способ построения оценок, основанный на уравнивании теоретических и выборочных моментов. (Пирсон - 1894г.)

Определение

Пусть $X_1,\ldots,X_n$ - выборка из распределения $\mathbb{P}_{\theta}$, зависящего от параметра $\theta \in \Theta \subset \mathbb{R}$. Пусть есть функция $g:\mathbb{R} \to \mathbb{R}$, такая что g(X₁) интегрируема относительно меры $\mathbb{P}_{\theta}$, и

$\mathbb{E}_{\theta}\left[g(X_1)\right] = f(\theta)$,

где $f:\Theta \to \mathbb{R}$ - биекция. Тогда оценка

$\hat{\theta}_{\mathrm{MM}} = f^{-1}\left(\overline{g(X)}\right) \equiv f^{-1}\left(\frac{1}{n}\sum\limits_{i=1}^n g(X_i)\right)$

называется оценкой параметра $\theta \in \Theta$ методом моментов.

Замечания

• По построению, $\overline{g(X)} = f\left(\hat{\theta}_{\mathrm{MM}}\right)$,

то есть оценка методом моментов получается путём приравнивания теоретического среднего g(X) с выборочным средним.

• В качестве функции g часто берут степенную функцию:

$g(x) = x^k,\; k \in \mathbb{N}$.

• Оценка $\hat{\theta}_{\mathrm{MM}}$ существенно зависит от используемой функции g(x). Если возможно использование нескольких разных функций g(x), полученные с их помощью оценки могут различаться.

Состоятельность метода

Если $f \in C(\Theta)$, то есть функция f непрерывна, то оценка метода моментов состоятельна.

Пример

Пусть $X_1,\ldots,X_n \sim \Gamma(\alpha,\beta)$ - выборка из гамма распределения с неизвестными параметрами α и β. Тогда

$\mathbb{E}[X_i] = \alpha \beta,\; \mathbb{E}\left[X_i^2\right]=\alpha(\alpha+1)\beta^2,\quad i=1,\ldots,n$.

Тогда оценки метода моментов удовлетворяют системе уравнений:

$\left\{ \begin{matrix} \bar{X} = & \hat{\alpha}_{\mathrm{MM}} \hat{\beta}_{\mathrm{MM}}\\ \overline{X^2} = & \hat{\alpha}_{\mathrm{MM}} ( \hat{\alpha}_{\mathrm{MM}} + 1 ) \left( \hat{\beta}_{\mathrm{MM}} \right)^2, \end{matrix} \right.$

откуда

$\hat{\alpha}_{\mathrm{MM}} = \frac{\left(\bar{X}\right)^2}{\overline{X^2} - \left(\bar{X}\right)^2}$,

и

$\hat{\beta}_{\mathrm{MM}} = \frac{\overline{X^2} - \left(\bar{X}\right)^2}{\bar{X}}$.

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, т.к. максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае Гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров в то время, как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также

• Метод максимального правдоподобия
• Обобщенный метод моментов