ИНФОРМАЦИЯ


ИНФОРМАЦИЯ

- основное понятие кибернетики. Кибернетика изучает машины и живые организмы исключительно с точки зрения их способности воспринимать определенную П., сохранять эту И. в "памяти", передавать ее по каналам связи и перерабатывать ее в "сигналы", направляющие их деятельность в соответствующую сторону. Интуитивное представление об И. относительно каких-либо величин или явлений, содержащейся в нек-рых данных, в кибернетике ограничивается и уточняется.

В нек-рых случаях возможность сравнения различных групп данных по содержащейся в них И. столь же естественна, как возможность сравнения плоских фигур по их "площади": независимо от способа измерения площадей можно сказать, что фигура Аимеет не большую площадь, чем В, если .4 может быть целиком помещена в B. (ср. примеры 1-3 ниже). Более глубокий факт - возможность выразить площадь числом и на этой основе сравнивать между собой фигуры произвольной формы - является результатом развитой математич. теории. Подобно этому фундаментальным результатом теории И. является утверждение о том, что в определенных, весьма широких, условиях можно пренебречь качественными особенностями И. и выразить ее количество числом. Только этим числом определяются возможности передачи И. по каналам связи и ее хранения в запоминающих устройствах.

Пример 1. Знание положения и скорости частицы, движущейся в силовом поле, дает И. о ее положении в любой будущий момент времени, притом полную, т. к. это положение может быть предсказано точно. Знание энергии частицы также дает И., но, очевидно, неполную.

Пример 2. Равенство

а=b (1)

дает И. относительно переменных аи b. Равенство

а 2=b2 (2)

дает меньшую И. [т. к. из (1) следует (2), но эти равенства не равносильны]. Наконец, равенство

а 3=b3(3)

равносильное (1), дает ту же И., то есть (1) и (3) - это различные формы задания одной и той же И.

Пример 3. Результаты произведенных с ошибками независимых измерений к.-л. физич. величины дают И. о ее точном значении. Увеличение числа наблюдений увеличивает эту И. Пример 3 а. Среднее арифметическое результатов наблюдений также содержит нек-рую И. относительно рассматриваемой величины. Как показывает математич. статистика, в случае нормального распределения вероятностей ошибок с известной дисперсией среднее арифметическое содержит всю И.

Пример 4. Пусть результатом нек-рого измерения является случайная величина x. При передаче по нек-рому каналу связи x искажается, в результате чего на приемном конце получают величину

где 8 не зависит от x (в смысле теории вероятностей). "Выход" hдает И. о "входе" x, причем естественно ожидать, что эта И. тем меньше, чем больше "рассеяние" значений q.

В каждом из приведенных примеров данные сравнивались по большей или меньшей полноте содержащейся в них И. В примерах 1-3 смысл такого сравнения ясен и сводится к анализу равносильности или неравносильности нек-рых соотношений. В примерах За и 4 этот смысл требует уточнения. Это уточнение дается, соответственно, математич. статистикой и теорией И. (для к-рых эти примеры являются типичными).

В основе информации теории лежит предложенный в 1948 К. Шенноном (С. Shannon) способ измерения количества И., содержащейся в одном случайном объекте (событии, величине, функции и т. п.) относительно другого случайного объекта. Этот способ приводит к выражению количества И. числом. Положение можно всего лучше объяснить в простейшей обстановке, когда рассматриваемые случайные объекты являются случайными величинами, принимающими лишь конечное число значений. Пусть x - случайная величина, принимающая значения х 1, х 2, ..., х п с вероятностями р 1, р 2, . .., р п, а h - случайная величина, принимающая значения у 1, у 2, ..., у т с вероятностями q1, q2 ,..., qm. Тогда И. I(x, h) относительно h, содержащаяся в x, определяется формулой

где р ij- вероятность совмещения событий x=xi и h=yj и логарифмы берутся по основанию 2. И. I(x,h)обладает рядом свойств, к-рые естественно требовать от меры количества И. Так, всегда I(x,h)>0 и равенство I(x,h)= 0 возможно тогда и только тогда, когда р ij=piqj при всех iи j, т. е. когда случайные величины x и h независимы. Далее, всегда и равенство возможно только в случае, когда т] есть функция от x (напр., h = x2 и т. д.). Неожиданным может казаться лишь равенство I(x, h)= I(h, x).

Величина носит название энтропии случайной величины x. Понятие энтропии относится к числу основных понятий теории И. Количество И. и энтропия связаны соотношением

где H(x, h) - энтропия пары (x, h), т. е.

Величина энтропии указывает среднее число двоичных знаков, необходимое для различения (или записи) возможных значений случайной величины. Это обстоятельство позволяет понять роль количества И. (4) при "хранении" И. в запоминающих устройствах. Если случайные величины x и hнезависимы, то для записи значения x требуется в среднем Н(x)двоичных знаков, для значения hтребуется Н(h)двоичных знаков, а для пары (x, h) требуется H(x)+H(h) двоичных знаков. Если же случайные величины x и h зависимы, то среднее число двоичных знаков, необходимое для записи пары (x, h), оказывается меньшим суммы Н(x)+ +H(h), так как Н(x,h) = Н(x)(h)-I(x, h).

С помощью значительно более глубоких теорем выясняется роль количества И. (4) в вопросах передачи И. по каналам связи. Основная информационная характеристика каналов, так наз. емкость, определяется через понятие "П.".

Если x и h могут принимать бесконечное число значений, то предельным переходом из (4) получается формула

где буквами ри qобозначены соответствующие плотности вероятности. При этом энтропии Н(x) и H(h) не существуют, но имеет место формула, аналогичная (5)

где

- дифференциальная энтропияx[h(h)и h(x,h) определяются подобным же образом].

Пример 5. Пусть в условиях примера 4 случайные величины x и q имеют нормальное распределение вероятностей с нулевыми средними значениями и дисперсиями, равными соответственно и Тогда, как можно подсчитать по формулам (6) или (7): I(h, x)=I(x, h)= Таким образом, количество И. в "принятом сигнале" h относительно "переданного сигнала" x стремится к нулю при возрастании уровня "помех" q (т. е. при ) и неограниченно возрастает при исчезающе малом влиянии "помех" (т. е. при ).

Особенный интерес для теории связи представляет случай, когда в обстановке примеров 4 и 5 случайные величины x и h заменяются случайными функциями (или, как говорят, случайными процессами) x(t)и h(t), к-рые описывают изменение нек-рой величины на входе и на выходе передающего устройства. Количество И. в h(t)относительно x(t) при заданном уровне помех ("шумов", по акустич. терминологии) q(t)может служить критерием качества самого этого устройства.

В задачах математич. статистики также пользуются понятием И. (ср. примеры 3 и 3а). Однако как по своему формальному определению, так и по своему назначению оно отличается от вышеприведенного (из теории И.). Статистика имеет дело с большим числом результатов наблюдений и заменяет обычно их полное перечисление указанием нек-рых сводных характеристик. Иногда при такой замене происходит потеря И., но при нек-рых условиях сводные характеристики содержат всю И., содержащуюся в полных данных (разъяснение смысла этого высказывания дано в конце примера 6). Понятие И. в статистике было введено Р. Фишером (R. Fisher) в 1921.

Пример 6. Пусть x1, x2, ..., xn- результаты пнезависимых наблюдений нек-рой величины, распределенные по нормальному закону с плотностью вероятности

где параметры а и s2 (среднее и дисперсия) неизвестны и должны быть оценены по результатам наблюдений. Достаточными статистиками (т. е. функциями от результатов наблюдений, содержащими всю И. о неизвестных параметрах) в этом примере являются среднее арифметическое

и так наз. эмпирическая дисперсия

Если параметр а 2 известен, то достаточной статистикой будет только (ср. пример За выше).

Смысл выражения "вся И." может быть пояснен следующим образом. Пусть имеется к.-л. функция неизвестных параметров j=j(а, s2) и пусть x*=j*(x1, x2, ..., xn) - к.-л. ее оценка, лишенная систематич. ошибки. Пусть качество оценки (ее точность) измеряется (как это обычно делается в задачах математич. статистики) дисперсией, разности j*-j. Тогда существует другая оценка j**, зависящая не от отдельных величин xi, а только от сводных характеристик и s2, не худшая (в смысле упомянутого критерия), чем j*. Р. Фишером была предложена также мера (среднего) количества И. относительно неизвестного параметра, содержащейся в одном наблюдении. Смысл этого понятия раскрывается в теории статистич. оценок.

Лщп. см. при ст. Информации передача.

Ю. В. Прохоров.


Математическая энциклопедия. — М.: Советская энциклопедия. . 1977—1985.

Синонимы:

Антонимы:

Смотреть что такое "ИНФОРМАЦИЯ" в других словарях:

  • ИНФОРМАЦИЯ —         (informatio ознакомление, представление лат.)         1) любые сведения, данные, сообщения, передаваемые посредством сигналов; 2) уменьшение неопределенности в результате передачи сведений, данных, сообщений в этом качестве И.… …   Энциклопедия культурологии

  • Информация — [information] основное понятие кибернетики, точно так же экономическая И. основное понятие экономической кибернетики. Определений этого термина много, они сложны и противоречивы. Причина этого, очевидно, в том, что И. как явлением занимается… …   Экономико-математический словарь

  • информация — Значимые данные. [ГОСТ Р ИСО 9000 2008] информация Любой вид знаний о предметах, фактах, понятиях и т. д. проблемной области, которыми обмениваются пользователи информационной системы [ГОСТ 34.320 96] информация Сведения (сообщения, данные)… …   Справочник технического переводчика

  • информация — и, ж. information f., пол. informacyia < , лат. informatio разъяснение, изложение. Сообщение, осведомление о чем л. БАС 1. Везде и во всем интерес монаршей охранять со всякою верностью, .. на все я ему < Швымерсу> прямую информацию… …   Исторический словарь галлицизмов русского языка

  • информация — данные, исходны данные, сведения; оповещение, сообщение, извещение, уведомление; рэнкинг, катамнез, новость, справка, материал, репортаж, пресс релиз Словарь русских синонимов. информация см. сведения Словарь синонимов русского языка.… …   Словарь синонимов

  • ИНФОРМАЦИЯ — (information) Данные, доступные индивидам, фирмам или правительствам во время принятия экономических решений. В принципе существует бесконечно большой объем информации; на практике даже такие крупнейшие и искушенные организации, как центральные… …   Экономический словарь

  • Информация — (data) Информация, которая обрабатывается, накапливается или выдается компьютером. Бизнес. Толковый словарь. М.: ИНФРА М , Издательство Весь Мир . Грэхэм Бетс, Барри Брайндли, С. Уильямс и др. Общая редакция: д.э.н. Осадчая И.М.. 1998. Информация …   Словарь бизнес-терминов

  • ИНФОРМАЦИЯ — ИНФОРМАЦИЯ, информации, жен. (книжн., офиц.). 1. только ед. Действие по гл. информировать. Информация поставлена на должную высоту. 2. Сообщение, осведомляющее о положении дел или о чьей нибудь деятельности, сведения о чем нибудь. Давать… …   Толковый словарь Ушакова

  • ИНФОРМАЦИЯ — (от лат. informatio ознакомление, разъяснение) понятие используемое в философии с давних времен и получившее в последнее время новое, более широкое значение благодаря развитию кибернетики, где оно выступает как одна из центральных категорий… …   Философская энциклопедия

  • ИНФОРМАЦИЯ — (от лат. informatio разъяснение, осведомление) любые сведения и данные, отражающие свойства объектов в природных (биол., физ. и др.), социальных и техн. системах и передаваемые звуковым, графическим (в т. ч. письменным) или иным способом без… …   Физическая энциклопедия

  • Информация — по законодательству РФ сведения о лицах, предметах, фактах, событиях, явлениях и процессах независимо от формы их представления. Информация уменьшает степень неопределенности, неполноту знаний о лицах, предметах, событиях и т.д. По английски:… …   Финансовый словарь

Книги

Другие книги по запросу «ИНФОРМАЦИЯ» >>


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.