Количество информации

Количество информации – в теории информации это количество информации в одном случайном объекте относительно другого. Пусть $x$ и $y$ – случайные величины, заданные на соответствующих множествах $X$ и $Y$. Тогда количество информации $x$ относительно $y$ есть:

$I(x,y)=H(x)-H(x|y)$,

где

$H(x)=-\sum_{x \in X} p(x) \ln p(x)$, — энтропия, а

$H(x|y)=-\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \ln p(x|y)$, — условная энтропия, в теории передачи информации она характеризует шум в канале.

Свойства энтропии

Для энтропии справедливы свойства:

$0 \leqslant H(x) \leqslant \ln (m)$,

где $m$ количество элементов множества $X$.

При этом, $H(x)=0$, если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что $1 \ln 1 =0$ и $0 \ln 0 =0$.

Максимум значения энтропии $H(x) = \ln (m)$ достигается, когда все $p(x) = 1/m$, т.е. все исходы равновероятны.

Для условной энтропии справедливы свойства:

$0 \leqslant H(x|y) \leqslant H(x)$,

При этом, $H(x|y)=0$, если отображение $Y$ в $X$ однозначное, т.е. $\forall y \exists x \colon p(x|y)=1$.

Максимум значения условной энтропии $H(x|y) = H(x)$ достигается, когда $x$ и $y$ - независимые случайные величины.

Свойства количества информации

Для количества информации справедливы свойства:

$I(x,y)=I(y,x),$ как следствие теоремы Байеса.

$I(x,y) \geqslant 0,$

$I(x,y)=0,$ если $x$ и $y$ – независимые случайные величины.

$I(x,x)=H(x).$

Последнее свойство показывает, что количество информации совпадает с энтропией, если компонента потери информации (шум) равна нулю.

В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете отредактировать эту статью, добавив ссылки на авторитетные источники. Эта отметка установлена 25 июля 2012.