Перекрёстная энтропия

В теории информации перекрёстная энтропия между двумя распределениями вероятностей измеряет среднее число бит, необходимых для опознания события из набора возможностей, если используемая схема кодирования базируется на заданном распределении вероятностей $q$, вместо «истинного» распределения $p$.

Перекрестная энтропия для двух распределений $p$ и $q$ над одним и тем же вероятностным пространством определяется следующим образом:

$\mathrm{H}(p, q) = \mathrm{E}_p[-\log q] = \mathrm{H}(p) + D_{\mathrm{KL}}(p \| q)\!$,

где $H(p)$ — энтропия $p$, и $D_{\mathrm{KL}}(p || q)$ — Расстояние Кульбака — Лейблера от $q$ до $p$ (также известная как относительная энтропия).

Для дискретного $p$ и $q$ это означает

$\mathrm{H}(p, q) = -\sum_x p(x)\, \log q(x). \!$

Ситуация для непрерывного распределения аналогично:

$\mathrm{H}(p, q) = -\int\limits_X p(x)\, \log q(x)\, dx. \!$

NB: Запись $\mathrm{H}(p,q)$ иногда используется как для перекрёстной энтропии, так и для присоединённой энтропии $p$ и $q$.

Минимизация перекрёстной энтропии

Минимизация перекрёстной энтропии часто используется в оптимизации и для оценки вероятностей редких событий.

См. также

• Информационная энтропия