Что такое регуляризация в машинном обучении

Регуляризация — это метод предотвращения переобучения модели путем добавления штрафа за сложность модели. Основные типы:

• L1 (Lasso): добавляет штраф в виде суммы абсолютных значений коэффициентов. Полезен для отбора признаков (обнуляет неважные коэффициенты).
• L2 (Ridge): штрафует сумму квадратов коэффициентов, уменьшая их значения, но не обнуляя.

Пример с sklearn:

from sklearn.linear_model import Ridge, Lasso
# L2 регуляризация
ridge = Ridge(alpha=1.0)  # alpha — сила регуляризации
ridge.fit(X_train, y_train)
# L1 регуляризация
lasso = Lasso(alpha=0.1)
lasso.fit(X_train, y_train)

Эффект: баланс между смещением и дисперсией, улучшение обобщающей способности.