Энтропия Реньи

В теории информации, энтропия Реньи, обобщение энтропии Шеннона, является одним из семейства функционалов для количественного разнообразия неопределенности или случайности системы. Она названа в честь Альфреда Реньи.

Энтропия Реньи порядка α, где α $\geq$ 0, α $\neq$ 1 определяется как

$H_\alpha(X) = \frac{1}{1-\alpha}\log\Bigg(\sum_{i=1}^n p_i^\alpha\Bigg)$

где p_i - появление вероятностей событий {x₁, x₂ ... x_n} и $\log$ по основанию 2. Если все вероятности одинаковые, тогда все распределения энтропии Реньи равны, H_α(X)=log n. В противном случае, энтропии слабо уменьшаются как функция от α.

Более высокие значения α, стремясь к бесконечности, дают энтропию Реньи, которая в большей степени определена через рассмотрение только самых высоких вероятностей событий. Более низкие значения α, стремящиеся к нулю, дают энтропию Реньи, которая в большей степени взвешивает все возможные события более равномерно, независимо от их вероятностей. Промежуточный случай α=1 дает энтропию Шеннона, которая обладает особыми свойствами. При α=0 максимально возможная энтропия Шеннона, log(N).

Энтропии Реньи играют важную роль в экологии и статистике как индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга $XY$ энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от α. Они также приводят к спектру показателей фрактальной размерности.

H_α для некоторых конкретных значений α

Некоторые частные случаи:

$H_0 (X) = \log n = \log |X|,\,$

где логарифм мощности множества X, иногда называют энтропией Хартли множества X.

В пределе при $\alpha$ стремящимся к 1, можно показать, используя правило Лопиталя, что $H_\alpha$ сходится к

$H_1 (X) = - \sum_{i=1}^n p_i \log p_i$

является энтропией Шеннона.

Столкновение энтропии, иногда называют "энтропией Реньи", относится к случаю $\alpha = 2$,

$H_2 (X) = - \log \sum_{i=1}^n p_i^2 = - \log P(X = Y)$

где Y является случайной величиной и не зависит от X, но одинаковое распределение на множестве X. При $\alpha \rightarrow \infty$, существует предел

$H_\infty (X) = - \log \sup_{i=1..n} p_i$

и называется Min-энтропия, потому что это наименьшее значение $H_\alpha$.

Неравенство между различными значениями α

Два последних случая связанны $H_\infty < H_2 < 2 H_\infty$. С другой стороны, энтропия Шеннона $H_1$ может быть сколь угодно высокой для случайной величины X с фиксированной min-энтропией.

$H_2 < 2 H_\infty$ потому что $\log \sum\limits_{i = 1}^n {p_i^2 } \ge \log \sup _i p_i^2 = 2\log \sup p_i$.

$H_\infty < H_2$ потому что $\log \sum\limits_{i = 1}^n {p_i^2 } < \log \sup _i p_i \left( {\sum\limits_{i = 1}^n {p_i } } \right) = \log \sup p_i$.

$H_1 \left( x \right) \ge H_2 \left( x \right)$ в соответствии с неравенством Иенсена $\sum\limits_{i = 1}^M {p_i \log p_i } \le \log \sum\limits_{i = 1}^M {p_i^2 }$.

Расходимости Реньи

Как и абсолютные энтропии Реньи, Реньи определил спектр мер расхождений, обобщающих расхождения Кульбака-Лейблера. Расхождение Реньи порядка α, где α > 0, из распределения P в распределение Q определяется:

$D_\alpha (P \| Q) = \frac{1}{\alpha-1}\log\Bigg(\sum_{i=1}^n \frac{p_i^\alpha}{q_i^{\alpha-1}}\Bigg) = \frac{1}{\alpha-1}\log \sum_{i=1}^n p_i^\alpha q_i^{1-\alpha}\,$

Как расхождение Кульбака-Лейблера, расхождение Реньи не является отрицательным для α>0. Это расхождение также известно как alpha-расхождение ($\alpha$-дивергенция).

Некоторые частные случаи:

$D_0(P \| Q) = - \log Q(\{i : p_i > 0\})$ : отрицательный логарифм от Q, p_i>0;

$D_{1/2}(P \| Q) = -2 \log \sum_{i=1}^n \sqrt{p_i q_i}$ : двойной отрицательный логарифм от коэффициента Бхаттачариа;

$D_1(P \| Q) = \sum_{i=1}^n p_i \log \frac{p_i}{q_i}$ : расхождение Кульбака-Лейблера;

$D_2(P \| Q) = \log \Big\langle \frac{p_i}{q_i} \Big\rangle \,$ : логарифм от ожидаемого отношения вероятностей;

$D_\infty(P \| Q) = \log \sup_i \frac{p_i}{q_i}$ : логарифм от максимального соотношения вероятностей.

Почему α = 1 особенный случай

Значение α = 1, что дает энтропия Шеннона и расхождение Кульбака-Лейблера, является особенным, потому что только тогда, когда α=1 можно выделить переменные A и X из совместного распределения вероятностей, и написать:

$H(A,X) = H(A) + \mathbb{E}_{p(a)} \{ H(X|a) \}$

для абсолютной энтропии, и

$D_\mathrm{KL}(p(x|a)p(a)||m(x,a)) = \mathbb{E}_{p(a)}\{D_\mathrm{KL}(p(x|a)||m(x|a))\} + D_\mathrm{KL}(p(a)||m(a)),$

для относительной энтропии.

Последнее означает, что если мы будем искать распределение p(x,a),которое сводит к минимуму расхождения некоторых основополагающих мер m(x,a), и мы получаем новую информацию, которая влияет только на распределение a, то распределение p(x|a) остается без изменений m(x|a).

Другие расхождения Реньи удовлетворяют критериям: быть положительными и непрерывными, инварианты относительно один-в-один координировать преобразования и объединение аддитивно, когда A и X независимы, следовательно, если p(A,X) = p(A)p(X), то

$H_\alpha(A,X) = H_\alpha(A) + H_\alpha(X)\;$

и

$D_\alpha(P(A)P(X)\|Q(A)Q(X)) = D_\alpha(P(A)\|Q(A)) + D_\alpha(P(X)\|Q(X)).$

Наиболее сильные свойства величины α = 1, которые предполагают определение условной информации и взаимной информации из теории связи, могут быть очень важны в других приложениях, или совершенно неважны, в зависимости от требований этих приложений.

Литература

• A. Rényi (1961). "On measures of information and entropy". Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960: 547–561. 
• A. O. Hero, O.Michael and J. Gorman (2002). «Alpha-divergences for Classification, Indexing and Retrieval».
• F. Nielsen and S. Boltz (2010). «The Burbea-Rao and Bhattacharyya centroids».
• O.A. Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163–182
• Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, A. R. Its, V. E. Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]