Информации теория

Информации теория

Теория информации (математическая теория связи) — раздел прикладной математики, определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.

Содержание

История

Основная статья: Хронология развития теории информации

Клод Шеннон (1916—2001) называется «отцом теории информации». [1] Его теория изначально понималась как строго математическая задача в статистике и дала инженерам средств передачи информации путь к определению ёмкости коммуникационного канала в терминах количества бит. Передающая часть теории не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие c потерями субъекта сообщения, используя критерий точности.

Разработанные Клодом Шенноном в сороковых годах двадцатого века основы Теории информации в последующие годы были существенно дополнены и расширены работами Н. Винера, В. А. Котельникова и А. Н. Колмогорова.

Отношение к термодинамической энтропии

Понятие информационной энтропии определено Шенноном для случая дискретных данных и весьма похоже на понятие термодинамической энтропии. Это величина, обозначающая количество информации, содержащееся в данном сообщении (или последовательности сигналов).

Применение

Теория информации широко используется в

См. также

Библиография

  • Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
  • Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0-471-06259-6
  • R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp’92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
  • Maxwell’s Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X
  • Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
  • Колмогоров А. Н. Три подхода к определению понятия «Количество информации» Новое в жизни, науке, технике. Сер. «Математика, кибернетика», N1, 1991, С.24-29. Перепечатка из «Проблемы передачи информации», N1, 1965, С.1-7.

См. также

Примечания

  1. ↑ Bell Labs website: «For example, Claude Shannon, the father of Information Theory, had a passion…»

Ссылки


Wikimedia Foundation. 2010.

Игры ⚽ Нужно решить контрольную?

Полезное


Смотреть что такое "Информации теория" в других словарях:

  • ИНФОРМАЦИИ ТЕОРИЯ —     ИНФОРМАЦИИ ТЕОРИЯ специальная научная дисциплина, обычно представляемая как раздел кибернетики, анализирующая математические аспекты процессов сбора, передачи, обработки и хранения информации. Главная особенность теории информации состоит в… …   Философская энциклопедия

  • ИНФОРМАЦИИ ТЕОРИЯ — (иногда сообщений теория) раздел кибернетики, в котором математическими методами изучаются способы измерения количества информации, содержащейся в каких либо сообщениях, и ее передачи …   Большой Энциклопедический словарь

  • ИНФОРМАЦИИ ТЕОРИЯ — см. Теория информации. Физическая энциклопедия. В 5 ти томах. М.: Советская энциклопедия. Главный редактор А. М. Прохоров. 1988 …   Физическая энциклопедия

  • ИНФОРМАЦИИ ТЕОРИЯ — раздел прикладной математики и кибернетики, связанный с математич. описанием и оценкой качества передачи, хранения, извлечения и классификации информации. Термин И. т. , возникший в 50 х гг. 20 в., до сих пор (к 1978) не имеет единого… …   Математическая энциклопедия

  • информации теория — (иногда  сообщений теория), раздел кибернетики, в котором математическими методами изучаются способы измерения количества информации, содержащейся в каких либо сообщениях, и её передачи. * * * ИНФОРМАЦИИ ТЕОРИЯ ИНФОРМАЦИИ ТЕОРИЯ (иногда сообщений …   Энциклопедический словарь

  • ИНФОРМАЦИИ ТЕОРИЯ — раздел математики, исследующий процессы хранения, преобразования и передачи информации. В основе его лежит определенный способ измерения количества информации. Возникшая из задач теории связи, теория информации иногда рассматривается как… …   Энциклопедия Кольера

  • Информации теория —         математическая дисциплина, исследующая процессы хранения, преобразования и передачи информации (См. Информация). И. т. существенная часть кибернетики (См. Кибернетика). В основе И. т. лежит определённый способ измерения количества… …   Большая советская энциклопедия

  • ИНФОРМАЦИИ ТЕОРИЯ — (иногда сообщений теория) раздел кибернетики, в к ром при помощи матем. методов изучаются способы измерения кол ва информации, содержащейся в к. л. сообщениях, а также методы её кодирования при передаче. В И. т. устанавливается связь между кол… …   Большой энциклопедический политехнический словарь

  • ИНФОРМАЦИИ ТЕОРИЯ — (иногда сообщений теория), раздел кибернетики, в к ром матем. методами изучаются способы измерения кол ва информации, содержащейся в к. л. сообщениях, и ее передачи …   Естествознание. Энциклопедический словарь

  • Теория систем — (общая теория систем)  специально научная и логико методологическая концепция исследования объектов, представляющих собой системы. Целью исследований в рамках этой теории является изучение: различных видов и типов систем; основных принципов… …   Википедия


Поделиться ссылкой на выделенное

Прямая ссылка:
… Нажмите правой клавишей мыши и выберите «Копировать ссылку»