Расстояние Кульбака

Расстояние (дивергенция) Ку́льбака — Ле́йблера (информационная дивергенция,относительная энтропия) в теории информации — это несимметричная мера удаленности друг от друга двух вероятностных распределений.^[1]. Обычно одно из сравниваемых распределений - это "истинное" распределение, второе - предполагаемое (проверяемое), являющееся приближением первого.

Дискретные распределения

Пусть даны две дискретные случайные величины $X,Y$, принимающие значения в одном множестве $\mathcal{X} \subset \mathbb{R}$, и их распределения задаются функциями вероятности $p$ и $q$ соответственно. Тогда расстояние Кульбака — Лейблера $D_{KL}$ задаётся формулой:

$D_{KL}(p, q) = \sum\limits_{x\in \mathcal{X}} p(x) \ln \frac{p(x)}{q(x)}.$

Непрерывные распределения

Пусть теперь даны две абсолютно непрерывные случайные величины $X,Y$, и их распределения задаются плотностями вероятности $p$ и $q$ соответственно. Тогда расстояние Кульбака — Лейблера $D_{KL}$ задаётся формулой:

$D_{KL}(p, q) = \int\limits_{-\infty}^{\infty} p(x) \ln \frac{p(x)}{q(x)}\, dx.$

Свойства

• Расстояние Кульбака — Лейблера всегда неотрицательно, и равно нулю тогда и только тогда, когда $X = Y$ почти всюду.

• Расстояние Кульбака — Лейблера, вообще говоря, не симметрично, то есть

$D_{KL}(p,q) \neq D_{KL}(q,p)$.

В частности, оно не является метрикой на пространстве распределений.

Примечания

1. ↑ Kullback S., Leibler R.A. On information and sufficiency // The Annals of Mathematical Statistics. 1951. V.22. №1. P. 79-86.