Сопряжённое априорное распределение

Сопряжённое априорное распределение (англ. conjugate prior) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.

Рассмотрим задачу о нахождении распределения параметра $\theta$ (рассматриваемого как случайная величина) по имеющемуся наблюдению $x$. По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности $p(\theta)$ и функции правдоподобия $p(x | \theta)$ по формуле:

$\displaystyle p(\theta|x) = \frac{p(x|\theta) \, p(\theta)} {\int\limits_{\text{range}\;\theta} p(x|\theta) \, p(\theta) \, d\theta}.$

Если апостериорное распределение $p(\theta | x)$ принадлежит тому же семейству вероятностных распределений, что и априорное распределение $p(\theta)$ (т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия $p(x | \theta)$. При этом распределение $p(\theta)$ называется сопряжённым априорным распределением к семейству функций правдоподобия $p(x | \theta)$.

Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.

Пример

Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром $q \in [0,1]$ (вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:

$p(q=x) = {x^{\alpha-1}(1-x)^{\beta-1} \over \Beta(\alpha,\beta)}$

где $\alpha$ и $\beta$ выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор $\alpha$ = 1 and $\beta$ = 1 даст равномерное распределение), а Β($\alpha$, $\beta$) — бета-функция, служащая здесь для нормализации вероятности.

Параметры $\alpha$ и $\beta$ часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).

Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:

$P(s,f|q=x) = {s+f \choose s} x^s(1-x)^f,$

$p(q=x|s,f) = {{{s+f \choose s} x^{s+\alpha-1}(1-x)^{f+\beta-1} / \Beta(\alpha,\beta)} \over \int_{y=0}^1 \left({s+f \choose s} y^{s+\alpha-1}(1-y)^{f+\beta-1} / \Beta(\alpha,\beta)\right) dy} = {x^{s+\alpha-1}(1-x)^{f+\beta-1} \over \Beta(s+\alpha,f+\beta)} ,$

Это апостериорное распределение также оказывается распределённым по закону бета-распределения, но лишь с немного другими параметрами, чем у априорного распределения.

Таблица сопряжённых семейств распределений

В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений $x_1, x_2, \ldots, x_n$. Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.

Дискретно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Бернулли	p	Бета	$\alpha,\, \beta\!$	$\alpha + \sum_{i=1}^n x_i,\, \beta + n - \sum_{i=1}^n x_i\!$
Биномиальное	p	Бета	$\alpha,\, \beta\!$	$\alpha + \sum_{i=1}^n x_i,\, \beta + \sum_{i=1}^nN_i - \sum_{i=1}^n x_i\!$
Отрицательное биномиальное	p	Бета	$\alpha,\, \beta\!$	$\alpha + rn,\, \beta + \sum_{i=1}^n x_i\!$
Пуассона	λ	Гамма	$k,\, \theta\!$	$k+ n,\ \frac {\theta} {\theta \sum_{i=1}^n x_i + 1}\!$
Пуассона	λ	Гамма	$\alpha,\, \beta\!$ [1]	$\alpha + n,\ \beta + \sum_{i=1}^n x_i\!$
Мультиномиальное	p (вектор вероятностей)	Дирихле	$\vec{\alpha}\!$	$\vec{\alpha}+\sum_{i=1}^n\vec{x}^{\,(i)}\!$
Геометрическое	p0 (вероятность)	Бета	$\alpha,\, \beta\!$	$\alpha + n,\, \beta + \sum_{i=1}^n x_i\!$

Непрерывно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Равномерное	$U(0,\theta)\!$	Парето	$x_{m},\, k\!$	$\max\{\,x_{(n)},x_{m}\},\, k+n\!$
Экспоненциальное	λ	Гамма	$\alpha,\, \beta\!$ [2]	$\alpha+n,\, \beta+\sum_{i=1}^n x_i\!$
Нормальное с известной дисперсией σ2	μ	Нормальное	$\mu_0,\, \sigma_0^2\!$	$\left.\left(\frac{\mu_0}{\sigma_0^2} + \frac{\sum_{i=1}^n x_i}{\sigma^2}\right)\right/\left(\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}\right),\, \left(\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}\right)^{-1}$
Нормальное с известным τ = 1/σ2	μ	Нормальное	$\mu_0,\, \tau_0\!$	$\left.\left(\tau_0 \mu_0 + \tau \sum_{i=1}^n x_i\right)\right/(\tau_0 + n \tau),\, \tau_0 + n \tau$
Нормальное с известным средним μ	σ2	Scaled inverse chi-square	$\nu,\, \sigma_0^2\!$	$\nu+n,\, \frac{\nu\sigma_0^2 + \sum_{i=1}^n (x_i-\mu)^2}{\nu+n}\!$
Нормальное с известным средним μ	τ (= 1/σ2)	Гамма	$\alpha,\, \beta\!$[2]	$\alpha + \frac{n}{2},\, \beta + \frac{\sum_{i=1}^n (x_i-\mu)^2}{2}\!$
Нормальное с известным средним μ	σ2	Обратное гамма-распределение	$\mathbf{\alpha,\, \beta}$	$\mathbf{\alpha}+\frac{n}{2},\, \mathbf{\beta} + \frac{\sum_{i=1}^n{(x_i-\mu)^2}}{2}$
Парето	k	Гамма	$\alpha,\, \beta\!$	$\alpha+n,\, \beta+\sum_{i=1}^n \ln\frac{x_i}{x_{\mathrm{m}}}\!$
Парето	xm	Парето	$x_0,\, k_0\!$	$x_0,\, k_0-kn \!$ при условии $k_0 > kn\!$.
Гамма с известной α[1]	β (inverse scale)	Гамма	$\alpha_0,\, \beta_0\!$	$\alpha_0+n\alpha,\, \beta_0+\sum_{i=1}^n x_i\!$

Примечания

1. ↑ ^{1 2} Параметризация гамма-распределения с параметрами: θ = 1/β and k = α.
2. ↑ ^{1 2} beta_rate

Литература

• DeGroot, Morris H. Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published in 1970.) ISBN 0-471-68029-X.