ИНФОРМАЦИИ КОЛИЧЕСТВО


ИНФОРМАЦИИ КОЛИЧЕСТВО

- теоретико-информационная мера величины информации, содержащейся в одной случайной величине относительно другой. Пусть x и h.- случайные величины, определенные на нек-ром вероятностном пространстве и принимающие значения в измеримых пространствах и соответственно, а - их совместное и маргинальные распределения вероятностей. Если распределение Pxh (Х). абсолютно непрерывно относительно прямого произведения мер - плотность (по Радону - Никодиму) меры Pxh( Х) относительно меры и - информационная плотность (логарифмы обычно берутся по основанию 2 или е), то, по определению, И. к. дается формулой

Если же мера не является абсолютно непрерывной относительно произведения мер то, по определению,

В случае, когда величины x и h принимают конечное число значений, выражение для И. к. I(x, h) приобретает следующий вид:

где

{pij, i=1, ...,n; j=1, ...,m) - распределения вероятностей x,h и пары (x, h) соответственно (в частности,

является энтропией случайной величины x), а если x,h - случайные векторы и существуют плотности Px(x), рh (у), Рxh( х, у )случайных векторов x, h и пары (x, h) соответственно, то

В общем случае

где верхняя грань берется по всем измеримой функциям и с конечным числом значений. Понятие И. к. используется главным образом в теории передачи информации.

Лит. см. [1], [2], [4] при ст. Информации передача.

Р. Л. Добрушин, В. В Прелов.


Математическая энциклопедия. — М.: Советская энциклопедия. . 1977—1985.

Смотреть что такое "ИНФОРМАЦИИ КОЛИЧЕСТВО" в других словарях:

  • Количество информации — в теории информации мера информации, сообщаемой появлением события определенной вероятности; или мера оценки информации, содержащейся в сообщении; или мера, характеризующая уменьшение неопределенности, содержащейся в одной случайной величине… …   Финансовый словарь

  • ИНФОРМАЦИИ ПЕРЕДАЧА — составная часть информации теории, относящаяся к изучению процесса переноса информации от источника сообщений к получателю сообщений (адресату). В теории И. п. изучаются оптимальные и близкие к оптимальным методы И. п. по каналам связи в… …   Математическая энциклопедия

  • ИНФОРМАЦИИ СКОРОСТЬ ПЕРЕДАЧИ — величина, характеризующая информации количество, к рая содержится в сигнале на выходе канала связи относительно сигнала на входе канала в расчете на единицу времени. Если случайные процессы с непрерывным или дискретным временем, являющиеся… …   Математическая энциклопедия

  • Количество информации — – в теории информации это количество информации в одном случайном объекте относительно другого. Пусть и – случайные величины, заданные на соответствующих множествах и . Тогда количество информации относительно есть …   Википедия

  • количество взаимной информации в случайных последовательностях — Отнесенное к единице времени количество информации в отрезке случайной последовательности относительно соответствующего отрезка другой случайной последовательности в пределе при стремлении к бесконечности длины отрезка; ее выражение имеет вид где …   Справочник технического переводчика

  • количество взаимной информации в случайных величинах — Мера уменьшения неопределенности случайной величины, возникающего вследствие того, что становится известным значение другой случайной величины, усредненного по знаниям последней; для дискретных случайных величин ее выражение имеет вид где… …   Справочник технического переводчика

  • количество взаимной информации в отрезках случайных процессов — Мера уменьшения неопределенности отрезка случайного процесса, возникающего вследствие того, что становится известной реализация соответствующего отрезка другого случайного процесса, усредненного по реализациям последнего. Примечания 1. Вместо… …   Справочник технического переводчика

  • количество информации по Фишеру — Значение количества информации по Кульбаку в частном случае двух близких гипотез о значении параметра, т. е. в случае, когда в определении количества информации по Кульбаку Р1(х)=Р(х, Θ), а P2(х)=Р(х, Θ+ΔΘ), где Θ… …   Справочник технического переводчика

  • количество информации — Мера информации, сообщаемой появлением события определенной вероятности; мера оценки информации, содержащейся в сообщении; мера, характеризующая уменьшение неопределенности, содержащейся в одной случайной величине относительно другой… …   Справочник технического переводчика

  • количество информации по Кульбаку — Мера неопределенности распределения вероятностей Р1(х) относительно распределения P2(x); ее выражение имеет вид [Сборник рекомендуемых терминов. Выпуск 94. Теория передачи информации. Академия наук СССР. Комитет технической терминологии. 1979 г.] …   Справочник технического переводчика

Книги

Другие книги по запросу «ИНФОРМАЦИИ КОЛИЧЕСТВО» >>


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.