ЭНТРОПИЯ

- теоретико-информационная мера степени неопределенности случайной величины. Если - дискретная случайная величина, определенная на нек-ром вероятностном пространстве и принимающая значения x₁, x₂, . . . с распределением вероятностей то Э. определяется формулой

(при этом считается, что 0 log 0=0). Основанием логарифма может служить любое положительное число, но обычно рассматривают логарифмы по основанию 2 или е, что соответствует выбору бит или нат (натуральная единица) в качестве единицы измерения.
Если и - две дискретные случайные величины, принимающие значения х ₁, х₂, ... и y₁, y₂, ... с распределениями вероятностей {p_k, k=1, 2, . . .} и {q_j, j=1, 2, . . .} соответственно, и {p_k|j, k=l, 2, . . .} - условное распределение при условии, что j=1, 2, . . ., то (средней) условной Э. величины относительно наз. величина

Пусть - стационарный процесс с дискретным временем и дискретным пространством значений такой, что Тогда Э. (точнее, средней Э. на символ) такого стационарного процесса наз. предел

где - Э. случайной величины Известно, что предел в правой части (3) всегда существует и имеет место равенство

где - условная Э.относительно Э. стационарных процессов находит важные применения в теории динамич. систем.
Если и v - две меры на нек-ром измеримом пространстве причем мера абсолютно непрерывна относительно v и - соответствующая производная Радона - Никодима, то Э. меры относительно меры v наз. интеграл

Частным случаем Э. меры по мере является дифференциальная энтропия.
Из многих возможных обобщений понятия Э. для теории информации одним ил самых важных является следующее. Пусть и - две случайные величины, принимающие значения в нек-рых измеримых пространствах и соответственно. Пусть заданы распределение случайной величины и класс Wдопустимых совместных распределений пары в множестве всех вероятностных мер в произведении Тогда W-энтропией (или Э. при заданном условии сообщений точности воспроизведения W )наз. величина

где - информации количество в относительно а нижняя грань берется по всем парам случайных величин таким, что совместное распределение

пары принадлежит W, а имеет распределение Класс W совместных распределений часто задают с помощью нек-рой неотрицательной измеримой действительнозначной функции - меры искажения следующим образом:

где - нек-рое фиксированное число. В этом случае величину, определяемую равенством (6), где Wзадается (7), называют -энтропией (или скоростью как функцией искажения) и обозначают Напр., если - гауссовский случайный вектор с независимыми компонентами, k=1,2, ..., п, а функция имеет вид

то может быть найдена по формуле
где определяется из уравнения
Если - дискретная случайная величина, пространства и совпадают, а функция имеет вид

то -Э. при равна обычной Э., определяемой в (1), т. е.

Лит.:[1]Шеннон К., Математическая теория связи, в сб.: Работы по теории информации и кибернетике, пер. с англ., М., 196З, с. 243-332; [2] Галл агер Р., Теория информации и надежная связь, пер. с англ., М., 1974; [3] Berger Т., Rate distortion theory, Englewood Cliffs (N. J.), 1971; [4] Биллингeлeй И., Эргодическая теория и информация, пер. с англ., М., 1969.
Р. Л. Добрушин, В. В. Прелов.