ИНФОРМАЦИОННОЕ РАССТОЯНИЕ


ИНФОРМАЦИОННОЕ РАССТОЯНИЕ

- метрика или псевдометрика на совокупности распределений вероятностей, характеризующая "непохожесть" описываемых этими распределениями случайных явлений. Наиболее интересны И. p. r(P, Q), связанные с мерами информативности эксперимента в задаче различения Ри Qпо наблюдениям.

В любой конкретной задаче статистик, обработав материалы наблюдений, должен сделать выводы о наблюденном явлении. Эти выводы не будут, вообще говоря, совершенно точными, поскольку исходы наблюдений случайны. Интуитивно понятно, что каждая выборка несет какое-то количество полезной информации, причем: А) при обработке информация может только теряться, Б) информация, доставляемая независимыми источниками, напр, независимыми выборками, суммируется. Таким образом, если ввести информативность эксперимента как среднее количество информации в наблюдении, то для информативности выполнены аксиомы А и Б. И хотя понятие информации остается интуитивным, иногда можно указать величину I, удовлетворяющую аксиомам А и Б, к-рая описывает асимптотику средней точ ности выводов в задаче с ростом числа наблюдений и к-рую потому естественно принять за информативность. Информативность может быть как числовой, так и матричной величиной. Важный пример - информационная матрица в задаче оценки параметра закона распределения.

Согласно аксиоме Б, информативности складываются как квадраты длин (катетов), т. е. квадрат разумного И. р. должен обладать свойством аддитивности. Простейшие И. р.- расстояние по вариации:

и расстояние в инвариантной римановой метрике Фишера:

последним свойством не обладают и собственного статистич. смысла не имеют.

По теории Неймана - Пирсона вся полезная информация о различении распределений вероятностей Р(dot )и Q(dw)на общем пространстве Q исходов w содержится в отношении правдоподобия или его логарифме

определенном с точностью до значений на множестве исходов вероятности нуль. Математическое ожидание

наз. (средней) информацией различения (по Кульбаку) в пользу Рпротив Q, а также относительной энтропией, информационным уклонением. Неотрицательная (может быть, бесконечная) величина I(P: Q )удовлетворяет аксиомам А и Б. Она характеризует точность одностороннего различения Рот Q, определяя максимальный порядок убывания вероятности bN ошибки второго рода (т. е. ошибочного принятия гипотезы Р, когда она неверна), при росте числа Nнезависимых наблюдений:

при фиксированном уровне значимости - вероятности aN ошибки первого рода,

Аналогичная величина I(Q: Р)определяет максимальный порядок убывания aN при Отношение "сходства", в частности "сходства" случайных явлений, не симметрично и, Как правило, I(P:Q)I(Q: Р). Геометрич. интерпретация I(P: Q )как половины квадрата несимметричного расстояния от Qдо Роказалась естественной в ряде вопросов статистики. Для такого И. р. неравенство треугольника неверно, но справедлив несимметричный аналог теоремы Пифагора:

I(R:P) = I(R:Q) + I(Q:P), если

Симметричная характеристика непохожести Ри Qвозникает при их минимаксном тестировании. Для оптимального теста

С информационным уклонением связаны также нек-рые другие И. р. (см. [1], [2]). Для бесконечно близких Ри Qглавная часть информационного уклонения, равно как и квадрата любого разумного И. р., задается, с точностью до постоянного множителя с(I), квадратичной формой Фишера. Для информационного уклонения

Лит.:[1] Кульбак С, Теория информации и статистика, пер. с англ., М., 1967; [2] Ченцов Н. Н., Статистические решающие правила и оптимальные выводы, М., 1972.

Н. Н. Чепцов.


Математическая энциклопедия. — М.: Советская энциклопедия. . 1977—1985.

Смотреть что такое "ИНФОРМАЦИОННОЕ РАССТОЯНИЕ" в других словарях:

  • система — 4.48 система (system): Комбинация взаимодействующих элементов, организованных для достижения одной или нескольких поставленных целей. Примечание 1 Система может рассматриваться как продукт или предоставляемые им услуги. Примечание 2 На практике… …   Словарь-справочник терминов нормативно-технической документации

  • РД 91.020.00-КТН-276-07: Нормы проектирования молниезащиты объектов магистральных нефтепроводов и коммуникаций ОАО "АК "Транснефть" и дочерних акционерных обществ — Терминология РД 91.020.00 КТН 276 07: Нормы проектирования молниезащиты объектов магистральных нефтепроводов и коммуникаций ОАО "АК "Транснефть" и дочерних акционерных обществ: 3.1 Безопасное расстояние (защитное разделение… …   Словарь-справочник терминов нормативно-технической документации

  • СТО Газпром 2-2.3-141-2007: Энергохозяйство ОАО "Газпром". Термины и определения — Терминология СТО Газпром 2 2.3 141 2007: Энергохозяйство ОАО "Газпром". Термины и определения: 3.1.31 абонент энергоснабжающей организации : Потребитель электрической энергии (тепла), энергоустановки которого присоединены к сетям… …   Словарь-справочник терминов нормативно-технической документации

  • Радио — (Radio) Определение радио, история возникновения радио Определение радио, история возникновения радио, радиовещание Содержание Содержание 1.Главное о . 2.История возникновения радио. Вопрос о приорва в изобретении радио. 3.Радиовещание.… …   Энциклопедия инвестора

  • ГОСТ 25066-91: Индикаторы знакосинтезирующие. Термины, определения и буквенные обозначения — Терминология ГОСТ 25066 91: Индикаторы знакосинтезирующие. Термины, определения и буквенные обозначения оригинал документа: 35 (зна косинтезирующий) индикатор со встроенным управлением: Знакосинтезирующий индикатор, конструктивно выполненный с… …   Словарь-справочник терминов нормативно-технической документации

  • Гражданская война в Ливии — Возможно, эта статья содержит оригинальное исследование. Добавьте ссылки на источники, в противном случае она может быть выставлена на удаление. Дополнительные сведения могут быть на странице обсуждения. (30 июля 2012) …   Википедия

  • Код Рида — Коды Рида Соломона (англ. Reed–Solomon codes) недвоичные циклические коды, позволяющие исправлять ошибки в блоках данных. Элементами кодового вектора являются не биты, а группы битов (блоки). Очень распространены коды Рида Соломона,… …   Википедия

  • Самара — У этого термина существуют и другие значения, см. Самара (значения). Городской округ Самара …   Википедия

  • база — база: Поверхность или выполняющее ту же функцию сочетание поверхностей, ось, точка, принадлежащая заготовке или изделию и используемая для базирования. [ГОСТ 21495 76, таблица, пункт 2] Источник …   Словарь-справочник терминов нормативно-технической документации

  • Информация — (Information) Информация это сведения о чем либо Понятие и виды информации, передача и обработка, поиск и хранение информации Содержание >>>>>>>>>>>> …   Энциклопедия инвестора

Книги

  • George Pusenkoff. Simply Virtual, . Сегодня ни для кого уже не новость, что так называемая глобализация пронизывает все стороны существования современного человека. Единое информационное пространство, ставшее реальностью… Подробнее  Купить за 110 руб


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.