Условная взаимная информация

Условная взаимная информация

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

I\left( {X;Y} \right) = H\left( X \right) - H\left( {X|Y} \right)

Содержание

Свойства взаимной информации

  • Взаимная информация является симметричной функцией случайных величин:
I\left( {X;Y} \right) = I\left( {Y;X} \right)
0 \le I\left( {X;Y} \right) \le \min \left[ H\left( X \right), H\left( Y \right) \right]

В частности, для независимых случайных величин взаимная информация равна нулю:

 I\left( {X;Y} \right) = H \left( X \right) - H \left( X | Y \right) = H \left( X \right) - H \left( X \right) = 0

В случае, когда одна случайная величина (например, X) является детерминированной функцией другой случайной величины (Y), взаимная информация равна энтропии:

 I\left( {X;Y} \right) = H \left( X \right) - H \left( X | Y \right) = H \left( X \right) - 0 = H \left( X \right)

Условная и безусловная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

I\left( {X;Y|Z = z} \right) = H\left( {X|Z = z} \right) - H\left( {X|Y,Z = z} \right)

Безусловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьй случайной величины:

I\left( {X;Y|Z} \right) = H\left( {X|Z} \right) - H\left( {X|Y,Z} \right)

Свойства

  • Являются симметричными функциями:
I\left( {X;Y | Z } \right) = I\left( {Y;X | Z } \right)
I\left( {X;Y | Z = z} \right) = I\left( {Y;X | Z = z} \right)
  • Удовлетворяют неравенствам:
0 \le I\left( {X;Y | Z } \right) \le \min \left[ H \left( {X | Z } \right), H \left( {Y | Z } \right) \right]
0 \le I\left( {X;Y | Z = z} \right) \le \min \left[ H \left( {X | Z = z} \right), H \left( {Y | Z = z} \right) \right]

Литература



Wikimedia Foundation. 2010.

Игры ⚽ Поможем сделать НИР

Полезное


Смотреть что такое "Условная взаимная информация" в других словарях:

  • Взаимная информация — Взаимная информация  статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой. Взаимная информация определяется через энтропию и условную энтропию двух… …   Википедия

  • Условная энтропия — Энтропия (информационная)  мера хаотичности информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в… …   Википедия

  • Собственная информация — дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат»  горизонтальная зелёная линия, риски слева  логарифмы натуральных чисел …   Википедия

  • Информационная энтропия — Информационная энтропия  мера неопределённости или непредсказуемости информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ… …   Википедия

  • Энтропия (теория информации) — Энтропия (информационная)  мера хаотичности информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в… …   Википедия

  • Избыточность информации — В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете …   Википедия

  • Избыточность — Избыточность  термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же… …   Википедия

  • Коэффициент сходства — (также мера сходства, индекс сходства) безразмерный показатель, применяемый в биологии для количественного определения степени сходства биологических объектов. Также известен под названиями: мера ассоциации, мера подобия и др. более редкие… …   Википедия

  • Национальная валюта — (National currency) Национальная валюта это денежная единица государства Национальная валюта: понятие, валюты стран мира, валюта Росии, США, стран Евросоюза, конвертируемость Содержание >>>>>>>>> …   Энциклопедия инвестора

  • Импульсно-кодовая модуляция — В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете …   Википедия


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»