Математическая теория связи (статья)

Математическая теория связи
A Mathematical Theory of Communication
Жанр:	Научная статья
Автор:	Клод Шеннон
Язык оригинала:	английский
Публикация:	1948 год
Перевод:	С. Карпов

«Математическая теория связи» (англ. A Mathematical Theory of Communication) — статья, опубликованная Клодом Шенноном в 1948 году в реферативном журнале американской телефонной компании «Bell System»^[1] и сделавшая его всемирно известным. Содержит в себе большое количество инновационных и плодотворных идей, эта работа инициировала многие научные исследования по всему миру, продолжающиеся по сей день, положив начало развитию методов обработки, передачи и хранения информации.

Об авторе

Основная статья: Шеннон, Клод

Клод Э́лвуд Ше́ннон (англ. Claude Elwood Shannon) — американский математик и инженер, основатель теории информации, автор многих книг и статей по кибернетике.

История

Основная статья: Хронология развития теории информации

Само понятие теории информации появилось задолго до публикации этой статьи. Множество авторов своими работами закладывали фундамент новой теории. Например том же журнале компании «Bell System» в 1924 году была публикация Найквиста, содержащая в себе некоторые положения, лежащие в основе данной статьи^[2].

Шеннон при публикации не считал, что делает открытие. Он во многом опирался на опыт предшественников, ведь в самом начале статьи он написал, что «Некоторые основные положения этой теории имеются в важных работах Найквиста и Хартли. В настоящей статье мы расширим теорию с тем, чтобы включить некоторое число новых факторов, в частности, влияние шума в канале».

Содержание

Шеннон обобщил идеи Хартли, используя понятие «информации», содержащейся в передаваемых по каналу связи сообщениях. Само понятие он не разъясняет, только упоминает, что сообщения могут иметь некое «значение», то есть относиться к системе, имеющей свою физическую или умозрительную сущность. Также он начал рассматривать непрерывные множества сообщений, а не только конечные. Его работа позволила решить основные задачи теории информации: кодирование, передачу сообщений и устранение избыточности; также исследовалась помехоустойчивость.

В книге вводится логарифмическая функция как мера информации, и показывается её удобство:

Она удобна практически. Параметры, важные в инженерных приложениях — такие, как время, пропускная способность, число переключателей и так далее — обычно меняются линейно при логарифмическом изменении числа возможных вариантов. К примеру, добавление одного переключателя удваивает число возможных состояний их группы, увеличивая на единицу его логарифм по основанию 2. Увеличение в два раза времени приводит к квадратичному росту числа сообщений, или удвоению их логарифма, и так далее. Она близка к нашему интуитивному представлению о такой мере. Это тесно связано с предыдущим пунктом, так как мы интуитивно измеряем величины, линейно сравнивая их со стандартами. Так, нам кажется, что на двух перфокартах можно разместить в два раза больше информации, а по двум одинаковым каналам — передать её в два раза больше. Она удобна математически. Многие предельные переходы просты в логарифмах, в то время как в терминах числа вариантов они достаточно нетривиальны. К. Шеннон[3]

Также вводится понятие обобщённой системы связи, состоящей из источника информации, передатчика, канала, приемника и пункта назначения. Шеннон разделяет все системы на дискретные, непрерывные и смешанные.

Влияние на различные направления науки

Довольно долгое время после своего появления, вопреки распространенному мнению, эта работа Шеннона была почти безвестной. Вот что пишет, например, по этому поводу академик А. Н. Колмогоров:

— Мне вспоминается, что ещё на международном съезде математиков в Амстердаме (1954 г.) мои американ­ские коллеги, специалисты по теории вероятностей, счи­тали мой интерес к работам Шеннона несколько пре­увеличенным, так как это более техника, чем математика. А. Колмогоров[4]

Но постепенно ученые из различных областей науки стали проявлять к статье все больший интерес. Сейчас трудно назвать область человеческих знаний, в которой замечательную формулу не пытались бы так или иначе применить. Количество публикаций росло, что не могло не вызвать ответной реакции со стороны самого Шеннона, так как изначально эта мера предназначалась только для сугубо прикладных задач техники связи. В 1956 году он опубликовал коротенькую статью «Бандвагон», в которой горячо призывал писать скромнее о теории информации, не считать эту теорию всемогущей и универсальной, не преувеличивать её значения:

Очень редко удается открыть одновременно несколько тайн природы одним и тем же ключом. Здание нашего несколько искусственно созданного благополучия слишком легко может рухнуть, как только в один прекрасный день окажется, что при помощи не­скольких магических слов, таких, как «информация», «энтропия», «избыточность», нельзя решить всех нерешённых проблем. К. Шеннон[5]

В результате появилось два понятия — «теория информации» и «теория передачи информации». Если первая из-за того, что содержит такие фундаментальные понятия, как «количество информации» и применяется для решения самых разнообразных проблем различных разделов науки, то вторая уже своим названием отражает адекватную сферу применения её идей.

^[6]

С развитием теории передачи информации стали сталкиваться с проблемой поиска надежных методов кодирования и декодирования. Это привело к появлению нового большого раздела теории передачи информации — теории кодирования. Мы знаем, что во-первых из шенноновской теории информации следовал тот важный вывод, что построение слишком хороших каналов является расточительством; экономически выгоднее использовать кодирование. Во вторых, из-за того, что основная теорема кодирования Шеннона не конструктивна, то есть она лишь доказывает существование оптимального помехоустойчивого кода, обеспечивающего предельное согласование сигнала с каналом, только обосновывает принципиальную возможность построения помехоустойчивых кодов, обеспечивающих идеальную передачу, но не указывает способ их построения. В итоге теория Шеннона мобилизовала усилия ученых на разработку конкретных кодов.^[7]

В пятидесятые годы много усилий было потрачено на попытки построения в явном виде классов кодов, позволяющих получить обещанную сколь угодно малую вероятность ошибки, но результаты были скудными. В следующем десятилетии решению этой увлекательной задаче уделялось меньше внимания; вместо этого исследователи кодов предприняли длительную атаку по двум основным направлениям:

• первое направление носило чисто алгебраический характер и преимущественно рассматривало блоковые (линейные) коды.
• второе направление исследований по кодированию носило скорее вероятностный характер. С этими исследованиями были связаны попытки понять кодирование и декодирование с вероятностной точки зрения, и эти попытки привели к появлению последовательного декодирования.

В последовательном декодировании вводится класс неблоковых кодов бесконечной длины, которые можно описать деревом и декодировать с помощью алгоритмов поиска по дереву. Наиболее полезными древовидными кодами являются коды с тонкой структурой, известные под названием сверточных кодов^[8].

Так же в семидесятых годах в связи с возникшими техническими трудностями стала активно развиваться теория алгоритмов. Необходимо было разработать алгоритмы для сжатия данных, подлежащих передаче. Впоследствии стали разрабатывать алгоритмы для сжатия данных в банках информации, сжатия изображений для передачи по коаксиальному кабелю и другие.

Настоящее время

Сегодня теория передачи информации — комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи, хранения и классификации информации. Состоит из теории кодирования, алгоритмов и многих других.

• В развитии теории кодирования достигнуты большие успехи. Появилось много различных помехоустойчивых кодов, отличающихся друг от друга основанием, расстоянием, избыточностью, структурой, функциональным назначением, энергетической эффективностью, корреляционными свойствами, алгоритмами кодирования и декодирования, формой частотного спектра (см. Помехоустойчивое кодирование).
• В наше время практические рекомендации, полученные на основе теории алгоритмов, имеют большой успех в области проектирования и разработки программных систем^[9].
• На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шенноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Именно благодаря теории передачи информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.

Сама статья по-прежнему сохраняет актуальность, являюсь основополагающей для многих работ.

Литература

• Оригинал статьи: Shannon C. E. A Mathematical Theory of Communication (англ.) // Bell System Technical Journal^[en]. — 1948. — Vol. 27. — P. 379—423.
• Русский перевод: Шеннон К. Э. Математическая теория связи // Работы по теории информации и кибернетике / Пер. С. Карпова. — М.: ИИЛ, 1963. — С. 243—322. — 830 с.

Ссылки

1. ↑ Shannon, Claude E. (July and October 1948). «A mathematical theory of communication». Bell System Technical Journal: 27:379–423 and 623–656,.
2. ↑ Nyquist, H. (1924). «Certain factors affecting telegraph speed». Bell System Technical Journal 3: 22:324—346.
3. ↑ Шеннон К. Э. «Математическая теория связи», Перевод С. Карпова в сборнике К. Шеннон «Работы по теории информации и кибернетике». — М.: ИЛ, 1963. — 830 с., с. 243—322
4. ↑ Шеннон К. Э."Математическая теория связи", Перевод С. Карпова в сборнике К. Шеннон «Работы по теории информации и кибернетике». — М.: ИЛ, 1963. — 830 с., с. 5
5. ↑ Шеннон К. Э. «Бандвагон»
6. ↑ д.ф-м.н. Р. Л. Добрушин, д.т. н. Б. С. Цыбаков «Теория передачи информации», в сборнике «Вестник АН СССР». — 1976, с. 76-81
7. ↑ Кузьмин И. В. «Основы теории информации и кодирования», 1986 г. — 240 с.
8. ↑ Кинегин С. В. «История кодирования, контролирующего ошибки»
9. ↑ Еремеевый Ф.«Теория алгоритмов»