Избыточность языка

Избыточность языка — статистическая величина, обозначающая избыточность информации, содержащейся в тексте на определённом языке.

Математическое определение

Математически данная величина определяется как

$D = R - r$

где $R$ — абсолютная энтропия языка, $r$ — фактическая энтропия языка.

Если принять фактическую энтропию английского языка за 1,3 бита на букву, то его избыточность равна 3,4 бита на букву (абсолютная энтропия — 4,7 бита на букву).

Избыточность естественных языков

Величина избыточности разных языков мира колеблется в пределах 70-80%^[1]. Во всех языках на всех уровнях присутствуют избыточные элементы. Избыточность в языке неслучайна: её функция — облегчить коммуникацию при неблагоприятных условиях передачи информации. Избыточность представляет собой систему предупреждения возможных ошибок^[2].

Избыточность и сжатие текстов

С точки зрения теории информации большая избыточность позволяет хорошо сжимать тексты с помощью энтропийного кодирования.

Литература

• Шнайер Б. Глава 11. Математические основы. Энтропия языка. // Прикладная криптография. Протоколы, алгоритмы, исходные тексты на языке Си = Applied Cryptography. Protocols, Algorithms and Source Code in C. — М.: Триумф, 2002. — С. 269. — 816 с. — 3000 экз. — ISBN 5-89392-055-4

Примечания

1. ↑ Гуларян А.Б. Принцип избыточности как основа построения семантических систем // Электронный научно-образовательный журнал "Грани познания". - № 1(6). - Май 2010.
2. ↑ Ягелло М. Алиса в стране языка: Тем, кто хочет понять лингвистику. Пер. с фр. Изд. 3-е. М.: Едиториал УРСС, 2010. - С. 38-41.