Вербализация (программирование)

Вербализа́ция — минимизированное описание работы синтезированной и уже обученной нейронной сети в виде нескольких взаимозависимых алгебраических или логических функций.

Цели вербализации

Одним из основных недостатков обучаемых нейронных сетей, с точки зрения многих пользователей, является то, что из обученной нейронной сети трудно извлечь явный и понятный пользователю алгоритм решения задачи — сама нейронная сеть является этим алгоритмом, и если структура сети сложна, то этот алгоритм непонятен. Однако специальным образом построенная процедура упрощения и вербализации часто позволяет извлечь явный метод решения.

Вербализация осуществляется, в частности, для подготовки обученной и упрощённой нейросети к реализации в программном коде или в виде специализированного электронного (оптоэлектронного) устройства, а также для использования результатов в виде явных знаний.^[1] Под симптомами при этом понимаются входные значения нейросети, а под синдромами — значения на выходах нейронов. Конечный синдром — это выходное значение нейросети. Вербализация обычно осуществляется средствами специализированных пакетов.

Частные задачи упрощения и вербализации

1. Упрощение архитектуры нейронной сети
2. Уменьшение числа входных сигналов
3. Сведение параметров нейронной сети к небольшому количеству выделенных значений
4. Снижение требований к точности входных сигналов
5. Формулировка явных знаний в виде симптом-синдромной структуры и явных формул формирования синдромов из симптомов.

Различные алгоритмы упрощения объединяют под названием Оптимальное прореживание нейронных сетей (англ. optimal brain surgery). Основная идея прореживания (англ. pruning) заключается в том, что те элементы модели или те нейроны сети, которые оказывают малое влияние на ошибку аппроксимации, можно исключить из модели без значительного ухудшения качества аппроксимации.

Метод второго порядка (использующий анализ чувствительности, основанный на вычислении вторых производных) был предложен ЛеКюном в 1990 году^[2] и назывался «optimal brain damage». Затем он был развит Хассиби^[3] и получил название «optimal brain surgery».

Несколько ранее были предложены методы прореживания^[4] и скелетонизации^[5] нейронных сетей, основанные просто на удалении элементов с наименьшими весами (методы нулевого порядка).

Наконец, в том же 1990 году А. Н. Горбанём был предложен эффективный метод, основанный на анализе первых производных в ходе обучения градиентными методами и не требующий отдельного дифференцирования.^[6] Кроме задачи удаления элементов решались также другие проблемы упрощения: уменьшение разрядности весов и сигналов (огрубление), упрощение функций активации нейронов, получение интерпретируемого знания и т. д. Вся совокупность подходов получила также название «контрастирование нейронных сетей». Описание основных показателей чувствительности представлено в обзоре.^[7]

Е. М. Миркес в проекте «Идеального нейрокомпьютера» на основе подхода Горбаня и опыта разработки прикладного программного обеспечения ввёл элемент «Контрастёр», построил библиотеку его основных функций и разработал язык описания.^[8]

Для подготовки нейронной сети к упрощению оказывается полезным ввести в оценку её работы, минимизируемую при обучении, штрафные слагаемые (англ. penalty), штрафующие за сложность. Эти алгоритмы введены в книге А. Н. Горбаня^[6]. Такой подход был впоследствии переоткрыт и положен в основу теории структурного обучения Ишикавы и Зурады.^[9][10]

Примечания

1. ↑ Миркес Е. М.,Логически прозрачные нейронные сети и производство явных знаний из данных, В кн.: Нейроинформатика / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296 с. ISBN 5020314102
2. ↑ LeCun Y., Denker J. S., Solla S. A. Optimal brain damage / Touretzky D. S.  ed., Advances in Neural Information Processing Systems 2. Morgan Kaufmann, San Mateo, CA. 1990. P. 598—605.
3. ↑ Hassibi B., Stork D. G. Second order derivatives for network pruning: Optimal brain surgeon / NIPS 5. 1993.
4. ↑ Sietsma J., Dow R.J.F., Neural net pruning — why and how. In: Proc. IJCNN'88, San Diego, CA., IEEE, Vol.1. — pp.325-333.
5. ↑ Mozer M.C., Smolensky P. Skeletonization: a technique for trimming the fat from a network via relevance assessment. In: Advances in Neural Network Information Processing Systems, Morgan Kaufmann, 1989. Vol.1, pp.107-115.
6. ↑ ^{1 2} Горбань А. Н., Обучение нейронных сетей. М.: изд. СССР-США СП «Параграф», 1990. 160 с.
7. ↑ Gorban A. N., Mirkes Eu. M., Tsaregorodtsev V. G. Generation of Explicit Knowledge from Empirical Data through Pruning of Trainable Neural Networks In: Proc. IJCNN'99, Washington DC, July 1999, IEEE, Vol. 6, pp. 4393-4398.
8. ↑ Миркес Е. М., Нейрокомпьютер. Проект стандарта.- Новосибирск: Наука, Сибирская издательская фирма РАН, 1999 .- 337 с. ISBN 5-02-031409-9 (Глава 9: «Контрастер») Другие копии онлайн: [1], [2].
9. ↑ Ishikawa S., Structural learning with forgetting, Neural Networks, 1996, Vol.9, 3, 509-521.
10. ↑ Miller D. A., Zurada, J. M., A dynamical system perspective of structural learning with forgetting, IEEE Transactions on Neural Networks, Vol. 9, 3, 1998, 508-515.