Обработка естественного языка

Обработка естественного языка

Обработка естественного языка (Natural Language Processing, NLP) — общее направление искусственного интеллекта и математической лингвистики. Оно изучает проблемы компьютерного анализа и синтеза естественных языков. Применительно к искусственному интеллекту анализ означает понимание языка, а синтез — генерацию грамотного текста. Решение этих проблем будет означать создание более удобной формы взаимодействия компьютера и человека.

Содержание

Задачи и ограничения

Теоретически, построение естественно-языкового интерфейса для компьютеров — очень привлекательная цель. Ранние системы, такие как SHRDLU, работая с ограниченным «миром кубиков» и используя ограниченный словарный запас, выглядели чрезвычайно хорошо, вдохновляя этим своих создателей. Однако оптимизм быстро иссяк, когда эти системы столкнулись со сложностью и неоднозначностью реального мира.

Понимание естественного языка иногда считают AI-полной задачей, потому как распознавание живого языка требует огромных знаний системы об окружающем мире и возможности с ним взаимодействовать. Само определение смысла слова «понимать» — одна из главных задач искусственного интеллекта.

Сложности понимания

В русском языке

Качество понимания зависит от множества факторов: от языка, от национальной культуры, от самого собеседника и т. д. Вот некоторые примеры сложностей, с которыми сталкиваются системы понимания текстов.

  • Предложения «Мы отдали бананы обезьянам, потому что они были голодные» и «Мы отдали бананы обезьянам, потому что они были перезрелыми» похожи по синтаксической структуре. В одном из них местоимение они относится к обезьянам, а в другом — к бананам. Правильное понимание зависит от знаний компьютера, какими могут быть бананы и обезьяны. По нормам русского языка второе предложение некорректно[источник не указан 269 дней], потому что в нем местоимение ссылается не на последнее подходящее слово, однако в устной речи такое предложение вполне может встретиться.
  • Свободный порядок слов может привести к совершенно иному толкованию фразы: «Бытие определяет сознание» — кто кого определяет?
  • В русском языке свободный порядок компенсируется развитой морфологией, служебными словами и знаками препинания, но в большинстве случаев для компьютера это представляет дополнительную проблему.
  • В речи могут встретиться неологизмы, например, глагол «Пятидесятирублируй» — то есть высылай 50 рублей. Система должна уметь отличать такие случаи от опечаток и правильно их понимать.
  • Правильное понимание омонимов — ещё одна проблема. При распознавании речи, помимо прочих, возникает проблема фонетических омонимов. Во фразе «Серый волк в глухом лесу встретил рыжую лису» выделенные слова слышатся одинаково, и без знания, кто глухой, а кто рыжий, не обойтись (Кроме того, что лиса может быть рыжей, а лес — глухим, лес также может быть рыжим (характеристика, в данном случае обозначающая преобладающий цвет листвы в лесу), в то время как лиса может быть глухой, что порождает дополнительную проблему, вытекающую из предыдущей.)

Главные задачи

Программное обеспечение

См. также

Ссылки



Wikimedia Foundation. 2010.

Смотреть что такое "Обработка естественного языка" в других словарях:

  • автоматическая обработка естественного языка — сущ., кол во синонимов: 1 • автобрея (1) Словарь синонимов ASIS. В.Н. Тришин. 2013 …   Словарь синонимов

  • Программное обеспечение для обработки естественного языка — Эта статья или раздел нуждается в переработке. Пожалуйста, улучшите статью в соответствии с правилами написания статей …   Википедия

  • Знаковые теории языка — Знаковые теории языка  совокупность теоретических положений (идей, гипотез) о строении языка, рассматриваемого как система знаков (см. Знак языковой), и об отношении его к внеязыковой действительности. З. т. я. не исчерпывают всех аспектов языка …   Лингвистический энциклопедический словарь

  • ГОСТ Р ИСО/МЭК 2382-23-2004: Информационная технология. Словарь. Часть 23. Обработка текста — Терминология ГОСТ Р ИСО/МЭК 2382 23 2004: Информационная технология. Словарь. Часть 23. Обработка текста оригинал документа: 23.06.22 автоматическая нумерация параграфов [automatic paragraph numbering]: Возможность текстового процессора… …   Словарь-справочник терминов нормативно-технической документации

  • Искусственный интеллект — Запрос «ИИ» перенаправляется сюда; см. также другие значения. Искусственный интеллект (ИИ, англ. Artificial intelligence, AI)  наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. ИИ… …   Википедия

  • ИИ — Искусственный интеллект (ИИ) (англ. Artificial intelligence, AI)  это наука и разработка интеллектуальных машин и систем, особенно интеллектуальных компьютерных программ, направленных на то, чтобы понять человеческий интеллект. При этом… …   Википедия

  • Искусственный Интеллект — (ИИ) (англ. Artificial intelligence, AI)  это наука и разработка интеллектуальных машин и систем, особенно интеллектуальных компьютерных программ, направленных на то, чтобы понять человеческий интеллект. При этом используемые методы не обязаны… …   Википедия

  • Подходы к пониманию проблемы искусственного интеллекта — Искусственный интеллект (ИИ) (англ. Artificial intelligence, AI)  это наука и разработка интеллектуальных машин и систем, особенно интеллектуальных компьютерных программ, направленных на то, чтобы понять человеческий интеллект. При этом… …   Википедия

  • Natural Language Toolkit — Тип обработка естественного языка Автор Эдвард Лоупер, Стивен Бёрд Последняя версия 2.0.2 / июль 2012 Лицензия Apache License Сайт nltk.org …   Википедия

  • Искусственная нейронная сеть — У этого термина существуют и другие значения, см. Нейронная сеть (значения). Схема простой нейросети. Зелёным цветом обозначены входные нейроны, голубым скрытые нейроны, жёлтым  выходной нейрон …   Википедия

Книги

Другие книги по запросу «Обработка естественного языка» >>


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.