Максимальная апостериорная гипотеза

Максимальная апостериорная гипотеза

В статистике метод оценки Максимальной апостериорной гипотезы (MAP) тесно связан с методом максимального правдоподобия (ML), но использует дополнительную оптимизацию, которая совмещает априорное распределение величины, которую хочет оценить.

Введение

Предположим, что нам нужно оценить неконтролируемый параметр выборки θ на базе наблюдений x. Пусть f - выборочное распределение x, такое, что f(x | θ) - вероятность x в то время как параметр выборки θ. Тогда функция

\theta \mapsto f(x | \theta) \!

известна как функция правдоподобия, а оценка

\hat{\theta}_{\mathrm{ML}}(x) = \arg\max_{\theta} f(x | \theta) \!

как оценка максимального правдоподобия θ.

Теперь, предположим, что априорное распределение g на θ существует. Это позволяет рассматривать θ как случайную величину как в Байесовой статистике. тогда апостериорное распределение θ:

\theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} \!

где g плотность распределения Θ, Θ - область определения g. Это прямое приложение Теоремы Байеса.

Метод оценки максимального правдоподобия затем оценивает θ как апостериорное распределение этой случайной величины:

\hat{\theta}_{\mathrm{MAP}}(x)
= \arg\max_{\theta} \frac{f(x | \theta) \, g(\theta)}
  {\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'}
= \arg\max_{\theta} f(x | \theta) \, g(\theta)
\!

Знаменатель апостериорного распределения не зависит от θ и поэтому не играет роли в оптимизации. Заметим, что MAP оценка θ соответствует ML оценке когда априорная g постоянна (т.е., константа).

Пример

Предположим, что у нас есть последовательность (x_1, \dots, x_n) IID N(\mu,\sigma_v^2 ) случайных величин и априорное распределение μ задано N(0,\sigma_m^2 ). Мы хотим найти MAP оценку μ.

Функция, которую нужно максимизировать задана

\pi(\mu) L(\mu) =  \frac{1}{\sqrt{2 \pi \sigma_m}} \exp\left(-\frac{1}{2} \left(\frac{\mu}{\sigma_m}\right)^2\right) \prod_{j=1}^n \frac{1}{\sqrt{2 \pi \sigma_v}} \exp\left(-\frac{1}{2} \left(\frac{x_j - \mu}{\sigma_v}\right)^2\right),

что эквивалентно минимизации μ в

 \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 + \left(\frac{\mu}{\sigma_m}\right)^2.

Таким образом, мы видим, что MAP оценка для μ задана

\hat{\mu}_{MAP} =     \frac{\sigma_m^2}{n \sigma_m^2 + \sigma_v^2 } \sum_{j=1}^n x_j.

Ссылки


Wikimedia Foundation. 2010.

Игры ⚽ Нужна курсовая?

Полезное



Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»