Многослойный перцептрон Розенблатта

У этого термина существуют и другие значения, см. Многослойный перцептрон.

Многослойный перцептрон Розенблатта - перцептрон с дополнительными слоями А - элементов, расположенными между S и R элементами. Определение Розенблатта отличается от многослойного перцептрона Румельхарта, и является более общим случаем по отношению к нему. Так как элементарный перцептрон уже обладал двумя слоями связей и тремя слоями элементов (нейронов), то такой перцептрон не считался многослойным, и многослойность подразумевалась только при наличии минимум четырех слоев элементов. Другое важное отличие состояло в том, что у Розенблатта не обязательно все связи были обучаемые, часть из них могла быть случайно выбрана и фиксирована. Румельхард же предполагал, что все связи многослойного перцептрона обучаемы. Поэтому полным эквивалентом многослойного перцептрона Румельхарта, у Розенблатта является перцептрон с переменными S-A связями.

Метод обратного распространения ошибок не подходит к обучению перцептронов, так как пороговый элемент перцептрона не гладкий (не дифференцируется). Кроме того, метод обратного распространения ошибок имеет экспоненциальную вычислительную сложность по отношению к числу входов нейронной сети, числу связей в слое и числу слоев в нейронной сети. Очень быстро обучение зацикливается само на себя и этот алгоритм начинает работать минимизируя многомерную поверхность собственных ошибок.

Двухслойные перцептроны следует обучать алгоритмом по ГОСТ Р 52633.5-2011 «Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа». Это первый алгоритм, который очень устойчив и практически не накапливает собственные ошибки. Важно так же то, что он имеет линейную вычислительную сложность, что позволяет обучать нейронные сети с большим числом входов и выходов, а также с любым числом слов нейронов в сети. Как недостаток алгоритма, следует рассматривать то, что он построен на искусственном ухудшении нейросетевых решений. Так каждый обученный нейрон по этому алгоритму должен хорошо узнавать "Своего" и очень плохо узнавать "Чужого". ГОСТ Р 52633.5-2011 требует, чтобы вероятность ошибок второго рода (ошибочное признание "Чужого" за "Своего") составляла ровно 0.5 на выходе каждого нейрона. Это требование информационной безопасности, продиктованное защитой от атаки поиска биометрических "близнецов". Получается, что каждый нейрон работает очень плохо, а все вместе нейроны "Чужой" обмануть не может. Для "Чужих" примерно половина нейронов дает неверный код, для "Своего" практически все нейроны дают верное состояние заданного при обучении кода.

Недостатки алгоритма ГОСТ Р 52633.5-2011 компенсируют выбором большого числа входов и выходов нейросети. Так при обработке 416 коэффициентов двухмерного преобразования Фурье двухслойной нейронной сетью с 256 нейронами в каждом слое, вероятность ошибок второго рода удается снизить примерно в миллиард раз по сравнению другими нейросетевыми решениями анализа рукописного почерка.

См. также

• Перцептроны с перекрестными связями
• Перцептроны с обратной связью

Литература

• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М.: Мир, 1965. — 480 с.