Условная взаимная информация
- Условная взаимная информация
-
Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.
Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как
-

Свойства взаимной информации
- Взаимная информация является симметричной функцией случайных величин:
-

-
![0 \le I\left( {X;Y} \right) \le \min \left[ H\left( X \right), H\left( Y \right) \right]](/pictures/wiki/files/50/2fe56cdda5085260515b7684d2d08fc2.png)
В частности, для независимых случайных величин взаимная информация равна нулю:
-

В случае, когда одна случайная величина (например, X) является детерминированной функцией другой случайной величины (Y), взаимная информация равна энтропии:
-

Условная и безусловная взаимная информация
Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:
-

Безусловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьй случайной величины:
-

Свойства
- Являются симметричными функциями:
-


- Удовлетворяют неравенствам:
-
![0 \le I\left( {X;Y | Z } \right) \le \min \left[ H \left( {X | Z } \right), H \left( {Y | Z } \right) \right]](/pictures/wiki/files/97/a7a12fb9dc08fecc30617d42642a2f71.png)
![0 \le I\left( {X;Y | Z = z} \right) \le \min \left[ H \left( {X | Z = z} \right), H \left( {Y | Z = z} \right) \right]](/pictures/wiki/files/99/c4d401b2960c886168f157db893eee7f.png)
Литература
- Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3
Wikimedia Foundation.
2010.
Полезное
Смотреть что такое "Условная взаимная информация" в других словарях:
Взаимная информация — Взаимная информация статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой. Взаимная информация определяется через энтропию и условную энтропию двух… … Википедия
Условная энтропия — Энтропия (информационная) мера хаотичности информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в… … Википедия
Собственная информация — дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат» горизонтальная зелёная линия, риски слева логарифмы натуральных чисел … Википедия
Информационная энтропия — Информационная энтропия мера неопределённости или непредсказуемости информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ… … Википедия
Энтропия (теория информации) — Энтропия (информационная) мера хаотичности информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в… … Википедия
Избыточность информации — В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете … Википедия
Избыточность — Избыточность термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же… … Википедия
Коэффициент сходства — (также мера сходства, индекс сходства) безразмерный показатель, применяемый в биологии для количественного определения степени сходства биологических объектов. Также известен под названиями: мера ассоциации, мера подобия и др. более редкие… … Википедия
Национальная валюта — (National currency) Национальная валюта это денежная единица государства Национальная валюта: понятие, валюты стран мира, валюта Росии, США, стран Евросоюза, конвертируемость Содержание >>>>>>>>> … Энциклопедия инвестора
Импульсно-кодовая модуляция — В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете … Википедия