Как работает L2 регуляризация

L2 регуляризация (Ridge) добавляет штраф за большие веса в функцию потерь, контролируя переобучение. Штрафной член — это сумма квадратов весов, умноженная на коэффициент λ (alpha). Формула:
Loss = Ошибка + λ * Σ(weights²)

Чем больше λ, тем сильнее сжимаются веса, но они не становятся нулевыми (в отличие от L1).

Пример в sklearn:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # alpha — гиперпараметр λ
model.fit(X_train, y_train)

Плюсы:

• Уменьшает переобучение
• Стабилен при мультиколлинеарности

Минусы:

• Не отбирает признаки (все веса остаются ненулевыми)
• Требует подбора λ через кросс-валидацию