Оценка апостериорного максимума

В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.

Введение

Предположим, что нам нужно оценить неконтролируемый параметр выборки $\theta$ на базе наблюдений $x$. Пусть $f$ - выборочное распределение $x$, такое, что $f(x|\theta)$ - вероятность $x$ в то время как параметр выборки $\theta$. Тогда функция

$\theta \mapsto f(x | \theta) \!$

известна как функция правдоподобия, а оценка

$\hat{\theta}_{\mathrm{ML}}(x) = \arg\max_{\theta} f(x | \theta) \!$

как оценка максимального правдоподобия $\theta$.

Теперь, предположим, что априорное распределение $g$ на $\theta$ существует. Это позволяет рассматривать $\theta$ как случайную величину как в Байесовской статистике. тогда апостериорное распределение $\theta$:

$\theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} \!$

где $g$ плотность распределения $\Theta$, $\Theta$ - область определения $g$. Это прямое приложение Теоремы Байеса.

Метод оценки максимального правдоподобия затем оценивает $\theta$ как апостериорное распределение этой случайной величины:

$\hat{\theta}_{\mathrm{MAP}}(x) = \arg\max_{\theta} \frac{f(x | \theta) \, g(\theta)} {\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} = \arg\max_{\theta} f(x | \theta) \, g(\theta) \!$

Знаменатель апостериорного распределения не зависит от $\theta$ и поэтому не играет роли в оптимизации. Заметим, что MAP оценка $\theta$ соответствует ML оценке когда априорная $g$ постоянна (т.е., константа).

Пример

Предположим, что у нас есть последовательность $(x_1, \dots, x_n)$ i.i.d. $N(\mu,\sigma_v^2 )$ случайных величин и априорное распределение $\mu$ задано $N(0,\sigma_m^2 )$. Мы хотим найти MAP оценку $\mu$.

Функция, которую нужно максимизировать задана

$\pi(\mu) L(\mu) = \frac{1}{\sqrt{2 \pi \sigma_m}} \exp\left(-\frac{1}{2} \left(\frac{\mu}{\sigma_m}\right)^2\right) \prod_{j=1}^n \frac{1}{\sqrt{2 \pi \sigma_v}} \exp\left(-\frac{1}{2} \left(\frac{x_j - \mu}{\sigma_v}\right)^2\right),$

что эквивалентно минимизации $\mu$ в

$\sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 + \left(\frac{\mu}{\sigma_m}\right)^2.$

Таким образом, мы видим, что MAP оценка для μ задана

$\hat{\mu}_{MAP} = \frac{\sigma_m^2}{n \sigma_m^2 + \sigma_v^2 } \sum_{j=1}^n x_j.$

См. также

• EM-алгоритм — один из способов вычисления MAP
• Метод максимального правдоподобия

Литература

• DeGroot, Morris H. Optimal Statistical Decisions. McGraw-Hill. 1970.
• Harold W. Sorenson. Parameter Estimation: Principles and Problems. Marcel Dekker. 1980.