М-оценки

М-оценки

Наиболее эффективными и широко используемыми оценками параметров законов распределений являются оценки максимального правдоподобия (ОМП), которые определяются одним из следующих условий:

$\sum_i \ln P_i \to \max_{\theta \in \Theta},\qquad \sum_i \frac{\partial \ln P_i}{\partial \theta} = 0, \qquad \sum_i \frac{P_i'}{P_i} = 0\!$

где в случае негруппированной выборки $P_i=f(x_i,\theta)\!$, а в случае группированной — $P_i=\left( \int\limits_{x_{i-1}}^{x_i} f(x,\theta) \, \mathrm{d} x \right)^{n_i}\!$

М-оценки — есть некое обобщение ОМП. Они определяются аналогично одним из соотношений:

$\sum_{i=1}^N \rho(x_i,\theta) \to \max_{\theta \in \Theta}, \qquad \sum_{i=1}^N \phi(x_i,\theta) =0\!$

Если наложить условие регулярности в подстановке $F_{t,x}=(1-t)F+t\Delta_x \!$ и продифференцировать его по $t\!$ в 0:

$0 = \frac{\partial}{\partial{t}} \int \phi(x,T(F_{t,x})) \, \mathrm{d} F_{t,x}\!$

$0 = \int \frac{\partial \phi(x,T(F_{t,x}))}{\partial \theta} IF \, \mathrm{d} F_{t,x} + \int \phi(x,T(F_{t,x})) \, \mathrm{d} \frac{\partial ((1-t)F + t \Delta_x)}{\partial t}\!$

$0 = IF \int \frac{\partial \phi(x,T(F_{t,x}))}{\partial \theta} \, \mathrm{d} F_{t,x} + \phi(x,T(F_{t,x}))\!$

то не представляет большого труда получить выражение функции влияния для M-оценок: $IF=\frac{-\phi(x)} {\int \phi'_{\theta} (x) \, \mathrm{d} F}\!$

Указанное выражение позволяет сделать вывод о том, что M-оценки эквивалентны с точностью до ненулевого множителя-константы.

Пример функций влияния для усечённых ОМП параметров сдвига (син.) и параметра масштаба (красн.) стандартного нормального закона распределения.

Несложно проверить, что для ОМП стандартного нормального закона распределения $\mathcal{N}(0,1)\!$ функции влияния $IF\!$ параметра сдвига и параметра масштаба выглядят соответственно:

$IF = x, \quad IF = \frac{1}{2} \; x^2 - \frac{1}{2}\!$

Эти функции неограничены, а это значит, что ОМП не является робастной в терминах B-робастности.

Для того, чтобы это исправить, M-оценки искусственно ограничивают, а значит и ограничивают ее $IF\!$ (см. выражение $IF\!$ для M-оценок), устанавливая верхний барьер на влияние резко выделяющихся (далеко отстоящих от предполагаемых значений параметров) наблюдений. Делается это введением так называемых усечённых M-оценок, определяемых выражением:

$\phi_b (z)=\left\{ \begin{array}{lr} \phi(b), & b < z \\ \phi(z), & -b < z \leqslant b \\ \phi(-b), & z \leqslant -b \end{array} \right.\!$

где $z=\frac{x-\theta}{S}$, $\theta\!$ и $S\!$ — оценки параметров сдвига и масштаба соответственно.

Среди усечённых M-оценок оптимальными с точки зрения B-робастности являются усечённые ОМП.

См. также

Робастность в статистике

Источники

• Robert G. Staudte: Robust estimation and testing. Wiley, New York 1990. ISBN 0-471-85547-2
• Rand R. Wilcox: Introduction to robust estimation and hypothesis testing. Academic Press, San Diego Cal 1997. ISBN 0-12-751545-3