Дифференциальная энтропия

Дифференциальная энтропия — средняя информация непрерывного источника. Определяется как

$H\left( X \right) = - \int\limits_{ - \infty }^{ + \infty } {f\left( x \right)\log _2 f\left( x \right)\,} dx$ бит

где $f\left( x \right)$ — плотность распределения сигнала непрерывного источника как случайной величины.

Условная дифференциальная энтропия для величины $X$ при заданной величине $Y$ определяется следующей формулой:

$H\left( {X|Y = y} \right) = - \int\limits_{ - \infty }^{ + \infty } {f_{X|Y} \left( x \right)\log _2 f_{X|Y} \left( x \right)\,dx}$ бит

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами, а также могут быть равны бесконечности.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника:

$H\left( X \right) \ge H\left( {X|Y} \right)$ (для независимых источников — равенство)

$H\left( {X,Y} \right) = H\left( X \right) + H\left( {Y|X} \right) = H\left( Y \right) + H\left( {X|Y} \right)$

Дифференциальная энтропия распределений с определенной фиксированной дисперсией $\sigma^2$ максимальна в случае гауссова распределения плотности вероятности сигнала непрерывного источника как случайной величины и равна

$H\left( X \right) = \frac{1}{2}\frac{\ln \left( {2\pi \sigma ^2 e} \right)}{\ln 2}$ бит

Для равномерного распределения:

$H\left( X \right) = \frac{\ln \left( {2 \sqrt 3 \sigma} \right)}{\ln 2}$ бит

Для распределения Лапласа

$H\left( X \right) = \frac{\ln \left( {\sqrt 2 \sigma e} \right)}{\ln 2}$ бит

Литература

• Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования). — 3 000 экз. — ISBN 5-94836-019-9

Ссылки

• Энтропия непрерывной случайной величины и её свойства