Перцептроны с обратной связью

Перцептроны с обратной связью — наиболее общий вид перцептронов, некоторые виды которых были описаны Ф. Розенблаттом. Они отличаются от простых перцептронов, наличием обратной связи. Благодаря этому слои элементов, находящихся сравнительного далеко от сенсорных входов, могут воздействовать на активность слоев, расположенных ближе к входу. Согласно современной классификации этот тип нейронной сети относится к рекуррентным нейронным сетям.

Перцептроны с избирательным вниманием

Архитектура простейшего перцептрона с избирательным вниманием

Если к простейшему перцептрону добавить обратную связь с постоянными (неизменяемыми) весовыми коэффициентами от R-элементов к A-элементам, то можно получить простейший вид перцептрона с избирательным вниманием. На рисунке сплошными линиями обозначены связи с постоянными весами, а пунктирными — связи с переменными весами. Обратная связь случайным образом (в равных пропорциях) выбрана с весом +1 (возбуждающая) или с весом −1 (тормозящая). В этом смысле эти обратные связи выбраны так же как и связи от S-элементов к А-элементам, но в отличии от этого первого слоя во втором слое имеются связи от каждого R-элемента к каждому А-элементу. При этом время передачи каждой связи равно фиксированной постоянной τ, а стимул удерживается на сетчатке в течении времени Τ > > τ.

Убедится в том, что такой вид перцептрона способен к избирательному вниманию можно на простом примере. Обучим систему следующим реакциям:

1. (r1 = 1, r2 = 0, r3 = 0, r4 = 0) — на треугольник;
2. (r1 = 0, r2 = 1, r3 = 0, r4 = 0) — на квадрат;
3. (r1 = 0, r2 = 0, r3 = 1, r4 = 0) — на положение фигуры в верхней части сетчатки;
4. (r1 = 0, r2 = 0, r3 = 0, r4 = 1) — на положение фигуры в нижней части сетчатки.

После обучения проверим реакцию на стимулы:

1. S1 — треугольник в верхней части поля (r1 = 1, r2 = 0, r3 = 1, r4 = 0) и квадрат в нижей части (r1 = 0, r2 = 1, r3 = 0, r4 = 1);
2. S2 — квадрат в верхней части поля и треугольник в нижей части.

Необходимо, чтобы такой перцептрон давал бы непротиворечивое описание формы и положения одного из двух стимулов, не учитывая другого, несмотря на то, что они присутствуют на сетчатке одновременно.

Для того, чтобы такая задача могла бы быть решена перцептроном с избирательным вниманием в процессе обучения нужно добиться определенного распределения весовых коэффициентов, что зависит от количества А-элементов с правильной реакцией по отношению к их общему числу. Рассмотрим пересечение подмножества элементов, имеющих реакцию R (1,0,0,0), с подмножеством, имеющим реакцию R (1,0,1,0), то есть треугольник не зависимо от местоположения и треугольник в верхней части сетчатки. Окажется, что такое пересечение относительно велико, так как три из четырех R-элементов находятся в одинаковом состоянии. То же самое справедливо и для комбинации треугольник не зависимо от местоположения и треугольник в нижней части сетчатки. Но комбинация R (1,0,0,0) и R (0,1,0,0), то есть треугольник и квадрат не зависимо от местоположения, имеет меньшее пересечение, так как только два из четырех R-элементов находятся в одинаковом состоянии. Это же относится и для комбинации R (0,0,1,0) и R (0,0,0,1), то есть любая из фигур вверху или внизу.

Благодаря такому распределению весовых коэффициентов, во время распознования произойдет следующие. Если окажется, что по отношению к паре реакций (треугольник, квадрат) вначале доминирующим окажется треугольник [сигнал на выходе (1,0,0,0)], то возбужденное подмножество, в которое введенно наибольшее подкрепление, будет давать реакцию «верх». Это случится из-за того, что сочетание «верх, треугольник» имеет значительно больший вес, чем сочетание «низ, квадрат». Если же реакция будет (0,1,0,0), то в системе возникнет противоположная тенденция, что приведет к реакции (0,1,0,1).

Если же теперь вместо стимула S1 подать стимул S2, то предпочтение будет отдаваться реакциям (1,0,0,1) или (0,1,1,0).

По сути данный пример иллюстрирует решение задачи, которую может решать ДАП, с той лишь разницей, что перцептрон с избирательным вниманием имеет два слоя вместо одного и обучается по методу коррекции ошибки, а не с помощью умножения прямой и транспонированной матрицы. Эти отличия позволяют решать задачи линейно не разделимые, и благодаря им информационная емкость сети много больше емкости ДАП. Здесь так же в процессе работы сети случайно выбранный вектор (избирательным вниманием) достраивается до наиболее статистически верного эталона.

Перцептроны с обучением заданной программе

Архитектура четырехслойного перцептрона для распознования и управления R — последовательностями с неопределенной продолжительностью элементов

Это группа наиболее сложных по своей архитектуре искусственных рекуррентных нейронных сетей. Розенблаттом была данна теоритическая схема таких сетей, но до сих пор она не была промоделированна программно. Простейший вид такой сети вводится на основании перцептронов с избирательным вниманием, но так чтобы реакция зависила бы не только от текущего сложного (когда одновременно предъявляются несколько стимулов) стимула, а от последовательности таких стимулов определенной длины. Для этого вводится второй слой ассоциативных элементов с перекрестными связями, которые могут образовывать между собой различные замкнутые контуры.

См. также

• Перцептрон
• Рекуррентные нейронные сети
• Обучение с подкреплением

Литература

• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М.: Мир, 1965. — 480 с.