ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ


ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ

- формальный аналог понятия энтропии для случайных величин, имеющих плотность распределения. Д. э. h(x) случайной величины x, определенной на нек-ром вероятностном пространстве (W, U, Р), принимающей значения в n-мерном евклидовом пространстве Rn и имеющей плотность распределения р(х),дается формулой

(здесь 0log0 считается равным 0). Таким образом, Д. э. совпадает с энтропией меры относительно меры

Лебега l(-), где - распределение x.

Понятие Д. э. оказывается полезным при вычислении различных теоретико-информационных характеристик, в первую очередь информации количестваJ(x, h)случайных векторов xи h. В случае, когда h(x), h(h)и h(x,h)(Д. э. пары (x,h)конечны, справедлива формула:

Среди свойств Д. э. можно отметить следующие два: 1) в отличие от обычной энтропии, Д. э. не ковариантна относительно изменения системы координат и может принимать отрицательные значения; 2) пусть j(x) - дискретизация с шагом Ахn-мерной случайной величины x, обладающей плотностью, тогда для энтропии Н(j(x))справедлива формула

при Таким образом, при главный член асимптотики Н(j(x)). зависит от размерности пространства значений x, Д. э. задает следующий по порядку член асимптотич. разложения, не зависящий от Ах, причем это первый член, в к-ром проявляется зависимость от конкретного вида распределения x.

Лит.:[1] Гельфанд И. М., Колмогоров А. Н., Яглом А. М., в кн.: Тр. 3-го Всесоюзного математического съезда, т. 3, М., 1958, с. 300-320; [2] Renуi A., Wahrschein-lichkeitsrechnung, В., 1962.

Р. Л. Добрушин, В. В. Прелое.


Математическая энциклопедия. — М.: Советская энциклопедия. . 1977—1985.

Смотреть что такое "ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ" в других словарях:

  • Дифференциальная энтропия — Дифференциальная энтропия  средняя информация непрерывного источника. Определяется как бит где   плотность распределения сигнала непрерывного источника как случайной величины. Условная дифференциальная энтропия для величины при заданной …   Википедия

  • дифференциальная энтропия — Мера относительной неопределенности ситуации, возможные исходы которой принадлежат множеству мощности континуум. [Сборник рекомендуемых терминов. Выпуск 94. Теория передачи информации. Академия наук СССР. Комитет технической терминологии. 1979… …   Справочник технического переводчика

  • дифференциальная энтропия — Мера неопределенности ситуации (случайной величины) с непрерывным множеством исходов …   Политехнический терминологический толковый словарь

  • дифференциальная энтропия распределения вероятностей — Мера относительной неопределенности распределения вероятностей непрерывной случайной величины; ее выражение имеет вид где Xn = (X1, …, Хn) — непрерывная n мерная случайная величина, w(хn)=w (x1, …, xn) — плотность… …   Справочник технического переводчика

  • дифференциальная энтропия случайной последовательности — Отнесенная к единице времени дифференциальная энтропия отрезка непрерывной (по множеству значений компонент) случайной последовательности в пределе при стремлении к бесконечности длины отрезка; ее выражение имеет вид где — непрерывная… …   Справочник технического переводчика

  • дифференциальная энтропия случайной величины — Дифференциальная энтропия распределения вероятностей непрерывной случайной величины. [Сборник рекомендуемых терминов. Выпуск 94. Теория передачи информации. Академия наук СССР. Комитет технической терминологии. 1979 г.] Тематики теория передачи… …   Справочник технического переводчика

  • дифференциальная энтропия условного распределения вероятностей — Мера неопределенности условного распределения вероятностей непрерывной случайной величины при условии, что задано значение другой непрерывной случайной величины, усредненная по значениям последней; ее выражение имеет вид где w(xn, ym)=w(x1, ...,… …   Справочник технического переводчика

  • условная дифференциальная энтропия — Дифференциальная энтропия, определяемая при условии, что становятся известными исходы другой ситуации (случайной величины) …   Политехнический терминологический толковый словарь

  • условная дифференциальная энтропия случайной последовательности — Отнесенная к единице времени условная дифференциальная энтропия отрезка непрерывной (по множеству значений компонент) случайной последовательности при условии заданного соответствующего отрезка другой непрерывной случайной последовательности в… …   Справочник технического переводчика

  • условная дифференциальная энтропия — Дифференциальная энтропия, определяемая при известном исходе другой ситуации. [Сборник рекомендуемых терминов. Выпуск 94. Теория передачи информации. Академия наук СССР. Комитет технической терминологии. 1979 г.] Тематики теория передачи… …   Справочник технического переводчика


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.