Регуляризация в статистике , машинном обучении , теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение . Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства .

С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели.

Некоторые виды регуляризации:

• ( англ. ), или регуляризация через манхэттенское расстояние :

  ${\displaystyle L_{1}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}}$ .

• ${\displaystyle L_{2}}$ - регуляризация , или регуляризация Тихонова (в англоязычной литературе — ridge regression или Tikhonov regularization ), для интегральных уравнений позволяет балансировать между соответствием данным и маленькой нормой решения:

  ${\displaystyle L_{2}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{a_{i}}^{2}}$ .

Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах слишком большие коэффициенты. Соответственно, необходимо добавить в целевую функцию штраф за слишком большие коэффициенты.

Нет решения относительно многокритериальной оптимизации или оптимизации, в которой область значения целевой функции есть пространство, на котором нет линейного порядка , или его затруднительно ввести. Почти всегда найдутся точки в области определения функции которую оптимизируют и которые удовлетворяют ограничениям, но значения в точках не сравнимые между собой. Чтобы найти все точки на кривой Парето , используют скаляризацию . В оптимизации регуляризация — это общий метод скаляризации для задачи двухкритериальной оптимизации . Варьируя параметр лямбда — элемент, который должен быть больше нуля в дуальном конусе относительно которого определён порядок — можно получить разные точки на кривой Парето .

Примечания

Литература

• Boyd S., Vandenberghe L. . — UK : Cambridge University Press, 2004. — 716 p. — (Berichte über verteilte messysteme). — ISBN 9780521833783 .