Обучение без учителя

Обучение без учителя

Обучение без учителя (англ. Unsupervised learning, самообучение, спонтанное обучение) — один из способов машинного обучения, при решении которых испытуемая система спонтанно обучается выполнять поставленную задачу, без вмешательства со стороны экспериментатора. С точки зрения кибернетики, является одним из видов кибернетического эксперимента. Как правило, это пригодно только для задач, в которых известны описания множества объектов (обучающей выборки), и требуется обнаружить внутренние взаимосвязи, зависимости, закономерности, существующие между объектами.

Обучение без учителя часто противопоставляется обучению с учителем, когда для каждого обучающего объекта принудительно задаётся «правильный ответ», и требуется найти зависимость между стимулами и реакциями системы.

Содержание

Связь с физиологией

Несмотря на многочисленные прикладные достижения, обучение с учителем критиковалось за свою биологическую неправдоподобность. Трудно вообразить обучающий механизм в мозге, который бы сравнивал желаемые и действительные значения выходов, выполняя коррекцию с помощью обратной связи. Если допустить подобный механизм в мозге, то откуда тогда возникают желаемые выходы? Обучение без учителя является намного более правдоподобной моделью обучения в биологической системе. Развитая Кохоненом и многими другими, она не нуждается в целевом векторе для выходов и, следовательно, не требует сравнения с предопределенными идеальными ответами[1].

Понятие «обучения без учителя» в теории распознавания образов

Для построения теории и отхода от кибернетического эксперимента в различных теориях эксперимент с обучением без учителя пытаются формализовать математически. Существует много различных подвидов постановки и определения данной формализации. Одна из которых отражена в теории распознавания образов.

Такой отход от эксперимента и построение теории связаны с различным мнением специалистов во взглядах. Различия, в частности, заключаются при ответе на вопрос: «Возможны ли единые принципы адекватного описания образов различной природы, или же такое описание каждый раз есть задача для специалистов конкретных знаний?».

В первом случае постановка должна быть нацелена на выявление общих принципов использования априорной информации при составлении адекватного описания образов. Важно, что здесь априорные сведения об образах различной природы разные, а принцип их учета один и тот же. Во втором случае проблема получения описания выносится за рамки общей постановки, и теория обучения машин распознаванию образов с точки зрения статистической теории обучения распознаванию образов может быть сведена к проблеме минимизации среднего риска в специальном классе решающих правил [2].

В теории распознавания образов различают в основном три подхода к данной проблеме [3] :

  • Эвристические методы;
  • Математические методы;
  • Лингвистические (синтаксические) методы.

Типы входных данных

  • Признаковое описание объектов. Каждый объект описывается набором своих характеристик, называемых признаками. Признаки могут быть числовыми или нечисловыми.
  • Матрица расстояний между объектами. Каждый объект описывается расстояниями до всех остальных объектов обучающей выборки.

Решаемые задачи

Экспериментальная схема обучения без учителя часто используется в теории распознавания образов, машинном обучении. При этом в зависимости от подхода формализуется в ту или иную математическую концепцию. И только в теории искусственных нейронных сетей задача решается экспериментально, применяя тот или иной вид нейросетей. При этом, как правило, полученная модель может не иметь интерпретации, что иногда относят к минусам нейросетей. Но тем не менее, результаты получаются ничем не хуже, и при желании могут быть интерпретированы при применении специальных методов.

Задачи кластеризации

Эксперимент обучения без учителя при решении задачи распознавания образов можно сформулировать как задачу кластерного анализа. Выборка объектов разбивается на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Исходная информация представляется в виде матрицы расстояний.

Методы решения

Кластеризация может играть вспомогательную роль при решении задач классификации и регрессии. Для этого нужно сначала разбить выборку на кластеры, затем к каждому кластеру применить какой-нибудь совсем простой метод, например, приблизить целевую зависимость константой.

Методы решения
  • Нейронная сеть встречного распространения
  • Метод радиальных базисных функций

Задачи обобщения

Так же как и в случае экспериментов по различению, что математически может быть сформулированно как кластеризация, при обобщении понятий можно исследовать спонтанное обобщение, при котором критерии подобия не вводятся извне или не навязываются экспериментатором.

При этом в эксперименте по «чистому обобщению» от модели мозга или перцептрона требуется перейти от избирательной реакции на один стимул (допустим, квадрат, находящийся в левой части сетчатки) к подобному ему стимулу, который не активизирует ни одного из тех же сенсорных окончаний (квадрат в правой части сетчатки). К обобщению более слабого вида относится, например, требование, чтобы реакции системы распространялись на элементы класса подобных стимулов, которые не обязательно отделены от уже показанного ранее (или услышанного, или воспринятого на ощупь) стимула.

Задачи поиска правил ассоциации

Исходная информация представляется в виде признаковых описаний. Задача состоит в том, чтобы найти такие наборы признаков, и такие значения этих признаков, которые особенно часто (неслучайно часто) встречаются в признаковых описаниях объектов.

Задачи сокращения размерности

Исходная информация представляется в виде признаковых описаний, причём число признаков может быть достаточно большим. Задача состоит в том, чтобы представить эти данные в пространстве меньшей размерности, по возможности, минимизировав потери информации.

Методы решения

Задачи визуализации данных

Некоторые методы кластеризации и снижения размерности строят представления выборки в пространстве размерности два. Это позволяет отображать многомерные данные в виде плоских графиков и анализировать их визуально, что способствует лучшему пониманию данных и самой сути решаемой задачи.

Методы решения

Некоторые приложения

  • Социологические исследования: формирование представительных подвыборок при организации социологических опросов.
  • Маркетинговые исследования: разбиение множества всех клиентов на кластеры для выявления типичных предпочтений.
  • Анализ рыночных корзин: выявление сочетаний товаров, часто встречающихся вместе в покупках клиентов.

См. также

Примечания

  1. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика. — М.: Мир, 1992
  2. Вапник В. Н., Червоненкис А. Я., Теория распознавания образов. Статистические проблемы обучения, 1974
  3. Ту Дж., Гонсалес Р. Принципы распознавания образов, М. 1978

Литература

  • Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983.
  • Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: исследование зависимостей. — М.: Финансы и статистика, 1985.
  • Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989.
  • Журавлев Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. — М.: Фазис, 2006. ISBN 5-7036-0108-8.
  • Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. ISBN 5-86134-060-9.
  • Мандель И. Д. Кластерный анализ. — М.: Финансы и статистика, 1988. ISBN 5-279-00050-7.
  • Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. — Киев: Наукова думка, 2004. ISBN 966-00-0341-2.
  • Hastie, T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — 2nd ed. — Springer-Verlag, 2009. — 746 p. — ISBN 978-0-387-84857-0.

Ссылки


Wikimedia Foundation. 2010.

Смотреть что такое "Обучение без учителя" в других словарях:

  • Обучение с подкреплением — (англ. reinforcement learning)  один из способов машинного обучения, в ходе которого испытуемая система (агент) обучается, взаимодействуя с некоторой средой. С точки зрения кибернетики, является одним из видов кибернетического… …   Википедия

  • Обучение с поощрением — Обучение с подкреплением (англ. reinforcement learning) способ постановки эксперимента, в ходе которого испытуемая система (агент) обучается, при поведение и взаимодействии в некоторой среде. Откликом среды (а не специальной системы управления… …   Википедия

  • Обучение машин — Машинное обучение (англ. Machine Learning) обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться. Различают два типа обучения. Обучение по прецедентам, или индуктивное обучение, основано на… …   Википедия

  • Обучение по прецедентам — Машинное обучение (англ. Machine Learning) обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться. Различают два типа обучения. Обучение по прецедентам, или индуктивное обучение, основано на… …   Википедия

  • Обучение с учителем — (англ. Supervised learning)  один из способов машинного обучения, в ходе которого испытуемая система принудительно обучается с помощью примеров «стимул реакция». С точки зрения кибернетики, является одним из видов кибернетического… …   Википедия

  • обучение —   , ия, ср.   * Начальное обучение. Обучение в начальной школе (3 4 года).   * Всеобщее обязательное начальное обучение.   ◘ За годы Советской власти в стране было осуществлено сначала всеобщее обязательное начальное обучение, затем неполное… …   Толковый словарь языка Совдепии

  • Обучение — (в педагогике)  целенаправленный педагогический процесс организации и стимулирования активной учебно познавательной деятельности учащихся по овладению ЗУН (знания …   Википедия

  • Обучение детей с особыми потребностями в основном потоке (educational mainstreaming) — Под «обучением в основном потоке» подразумевается включение учеников с особыми потребностями в обычные классы или программы «осн.» обучения. Такое обучение предполагает включение детей с различными нарушениями способностей в неспециализированную… …   Психологическая энциклопедия

  • Обучение в раннем детстве (early childhood education) — Когда говорят об О. в р. д., то имеют в виду либо ясельные, либо дошкольные программы, и чаще всего речь идет о детях в возрасте от 3 до 5 лет. Однако в нек рых дискуссиях по этому вопросу охватывается возрастной диапазон от младенчества до… …   Психологическая энциклопедия

  • Обучение — (teaching), процесс передачи к. л. знаний, навыков. Исследования, проведенные Всемирным банком, показывают, что уровень усваивания детьми знаний зависит от квалификации и опыта учителя, к рые трудно приобрести без высшего образования, а также… …   Народы и культуры

Книги

Другие книги по запросу «Обучение без учителя» >>


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»