Зачем нужна регуляризация

Регуляризация помогает бороться с переобучением модели, добавляя штраф за сложность (большие веса). Основные типы:

• L1 (Lasso): λ * Σ|w| – обнуляет некоторые веса, работает как отбор признаков.
• L2 (Ridge): λ * Σw² – уменьшает веса равномерно.

Пример с sklearn:

from sklearn.linear_model import Ridge, Lasso
# L2 регуляризация
ridge = Ridge(alpha=0.5).fit(X_train, y_train)  
# L1 регуляризация
lasso = Lasso(alpha=0.1).fit(X_train, y_train)  

Параметр alpha контролирует силу регуляризации. Выбор между L1/L2 зависит от задачи: L1 для разреженных данных, L2 для общей стабилизации.