Распределение Дирихле

В теории вероятностей и математической статистике распределение Дирихле (по имени Иогaнна Пeтера Гyстава Лежён-Дирихлe) часто обозначаемое Dir(α) — это семейство непрерывных многомерных вероятностных распределений параметризованных вектором α неотрицательных вещественных чисел. Распределение Дирихле является обобщением Бета-распределения на многомерный случай. То есть, его функция плотности вероятности возвращает доверительную вероятность того, что вероятность каждого из K взаимноисключающих событий равна $x_i$ при условии, что каждое событие наблюдалось $\alpha_i-1$ раз.

Функция плотности вероятности

Функция плотности вероятности для распределения Дирихле порядка K есть:

$f(x_1, \dots, x_K; \alpha_1, \dots, \alpha_K) =\frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K x_i^{\alpha_i - 1}$

где $x_i \ge 0\,$, $\sum_{i=1}^K x_i = 1\,$, и $\alpha_i \ge 0\,$.

Свойства

Пусть $X = (X_1, \ldots,X_K)\sim\operatorname{Dir}(\alpha)$ и $\alpha_0 =\sum_{i=1}^K\alpha_i,$ тогда

$\mathrm{E}[X_i|\alpha] = \frac{\alpha_i}{\alpha_0},$

$\mathrm{Var}[X_i|\alpha] = \frac{\alpha_i(\alpha_0-\alpha_i)}{\alpha_0^2 (\alpha_0+1)},$

$\mathrm{Cov}[X_iX_j|\alpha] = \frac{- \alpha_i\alpha_j}{\alpha_0^2 (\alpha_0+1)}.$

Модой распределения является вектор x (x₁, …,x_K) с

$x_i = \frac{\alpha_i - 1}{\alpha_0 - K}, \quad \alpha_i > 1.$

Распределение Дирихле является сопряжённым априорным распределением к мультиномиальному распределению, а именно: если

$\beta|X=(\beta_1, \ldots, \beta_{K})|X \sim\operatorname{Mult}(X),$

где β_i — число вхождений i в выборку из n точек дискретного распределения на {1, …, K} определенного через X, то

$X | \beta \sim \operatorname{Dir}(\alpha + \beta).$

Эта связь используется в Байесовской статистике для того, чтобы оценить скрытые параметры, X, дискретного вероятностного распределения имея набор из n выборок. Очевидно, если априорное распределение обозначено как Dir(α), то Dir(α + β) есть апостериорное распределение после серии наблюдений с гистограммой β.

Связи с другими распределениями

Если для $i\in\{1,2,\ldots,K\},$

$Y_i\sim\operatorname{Gamma}(\textrm{shape}=\alpha_i,\textrm{scale}=1)$ независимо, то

$V=\sum_{i=1}^KY_i\sim\operatorname{Gamma}(\textrm{shape}=\sum_{i=1}^K\alpha_i,\textrm{scale}=1),$

и

$(X_1,\ldots,X_K) = (Y_1/V,\ldots,Y_K/V)\sim\operatorname{Dir}(\alpha_1,\ldots,\alpha_K).$

Несмотря на то, что X_i не являются независимыми друг от друга, они могут быть сгенерированны из набора из $K$ независимых гамма случайных величин. К несчастью, так как сумма $V$ теряется в процессе формирования X = (X₁, …, X_K), становится невозможно восстановить начальные значения гамма случайных величин только по этим значениям. Тем не менее, благодаря тому, что работать с независимыми случайными величинами проще, это преобразование параметров может быть полезно при доказательстве свойств распределения Дирихле.

Генерация случайных чисел

Метод построения случайного вектора $x=(x_1, \ldots, x_K)$ для распределения Дирихле размерности K с параметрами $(\alpha_1, \ldots, \alpha_K)$ следует непосредственно из этой связи. Сначала получим K независимых случайных выборок $y_1, \ldots, y_K$ из гамма-распределений, каждое из которых имеет плотность

$\frac{y_i^{\alpha_i-1} \; e^{-y_i}}{\Gamma (\alpha_i)}, \!$

а затем положим

$x_i = y_i/\sum_{j=1}^K y_j. \!$

Наглядная трактовка параметров

В качестве примера использования распределения Дирихле можно предложить задачу, в которой требуется разрезать нитки (каждая начальной длины 1.0) на K частей с разными длинами так, чтобы все части имели заданную среднюю длину, но с возможностью некоторой вариации относительных длин частей. Значения α/α₀ определяют средние длины частей нитки, получившиеся из распределения. Дисперсия вокруг среднего значения обратно пропорциональна α₀.

См. также

• Бета-распределение
• Биномиальное распределение
• Мультиномиальное распределение