Регуляризация (математика)

У этого термина существуют и другие значения, см. Регуляризация.

В статистике, машинном обучении и теории обратных задач под регуляризацией понимают добавление некоторой дополнительной информации к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства.

C философской точки зрения регуляризация означает попытку применить бритву Оккама к решению задачи. С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели.

Подобные проблемы возникают в различных областях науки. Например, метод наименьших квадратов может быть рассмотрен как простая форма регуляризации.

Виды регуляризации

• L1-регуляризация (в английской литературе LASSO regression)L1 = Σ(yt-y)2 + λ*Σ|ai|
• Регуляризация Тихонова (в английской литературе ridge regression) для интегральных уравнений позволяет балансировать между соответствием данным и маленькой нормой решения. L2 = Σ(yt-y)2 + λ*Σ(ai)2 ^[1]
• В последнее время возросла популярность метода нелинейной регуляризации.

См. также

Переобучение

Источники

1. ↑ Регуляризация линейной регрессии с примерами на R | О программировании, алгоритмах и не только