Перцептрон с переменными S-A связями

Перцептрон с переменными S-A связями — перцептрон Розенблатта с несколькими R-элементами и переменными (обучаемыми) S-A и A-R связями. В названии акцент сделан на S-A связи, так как это последнее снятое Розенблаттом ограничение при рассмотрении элементарного перцептрона, в результате чего получена система самого общего вида с топологической структурой S -> A -> R. Данный перцептрон является эквивалентом многослойнного перцептрона Румельхарта, хотя самим Розенблаттом под этим названием был рассмотрен случай только с двумя слоями связей. Но этого достаточно, чтобы охарактеризвать этот подвид перцептронов в том же отношении, что было сделанно Румельхартом. Для более сложного анализа возможностей перцептронов Розенблатт переходит к четырех слойным перцептронам считая только их многослойными перцептронами.

Правило локальной информации

Для того, чтобы для обучения всех слоев перцептрона можно было применять метод коррекции ошибки нужно определить ошибку не только для внешних R — элементов, но и для внутренних A — элементов. Трудность состоит в том, что если желаемая реакция $R^*$ задается из условий задачи, то желаемое состоянние А-элемента остается неизвестным. Можно лишь утверждать, что желаемым состоянием А-элемента является состояние при котором его активность скорее способствует, чем препятствует обучению перцептрона заданной реакции ^[1]. Можно было бы анализировать систему глобально, но это означало бы, что система подкрепления знало бы решение зарание, то есть собственно обучения не происходило бы. Собственно Бонгард именно это и предлагал сделать, но такое решение не гарантирует сходимости и является более ресурсоемким, чем иттерационное обучение. Поэтому Розенблаттом было предложенно правило локальной информации:

Для любого А-элемента $a_i$ значение допустимой ошибки $E_i(t)$ зависит только от информации, связанной с его активностью или поступающими на него сигналами, от веса его выходных связей и от распределения ошибки на его выходе в момент времени t.

Другими словами, ошибку А-элемента может определять только сам А-элемент и те элементы, с которыми он непосредственно связан.

Детерминистические методы обучения

Розенблатт доказал следующую теорему:

Даны трехслойный перцептрон с последовательными связями, простыми A и R элементами и переменными S-A связями и классификация C(W), для которой известно, что решение существует. Тогда может оказаться, что решение недостижимо при использовании детерминистического процесса коррекции, подчиняющегося правилу локальной информации.

Частным случаем такого процесса коррекции является метод обратного распространения ошибки.

Стохастические методы обучения

Чтобы показать, что решение может быть достигнуто при недетерминистическом (стохастическом) методе, Розенблатт доказал следующую теорему:

Дан трехслойный перцептрон с последовательными связями, простыми А и R элементами, переменными S-A связями, ограниченными весами A-R связей и классификацией C(W), для которой решение существует. Тогда с вероятностью, равной единице, решение для C(W) может быть получено за конечное время при использовании метода коррекции с обратной передачей сигнала ошибки при условии, что каждый стимул из W обязательно предъявляется более одного раза за конечный отрезок времени и что все вероятности $p_1$, $p_2$ и $p_3$ больше 0 и меньше 1.

Таким образом, чтобы обучать более одного слоя в нейронной сети, и иметь 100 % сходимость нужно выполнить достаточно много условий. И такой алгоритм был предложен Розенблаттом под названием метод коррекции с обратной передачей сигнала ошибки, что не нужно путать с методом обратного распространения ошибки.

Примечания

1. ↑ Розенблатт, Ф., с. 231

Литература

• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М.: Мир, 1965. — 480 с.