Для чего нужна регуляризация

Регуляризация помогает бороться с переобучением модели, добавляя штраф за сложность (большие веса) в функцию потерь. Основные типы:

1. L1 (Lasso) – обнуляет неважные признаки (полезно для feature selection).
2. L2 (Ridge) – уменьшает веса равномерно, но не до нуля.
3. ElasticNet – комбинация L1 и L2.

Пример с sklearn:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # alpha – сила регуляризации
model.fit(X_train, y_train)

Нюансы:

• Слишком сильная регуляризация может привести к недообучению.
• L1 работает хуже, если признаки коррелируют.
• ElasticNet требует подбора соотношения L1/L2.