Как работает регуляризация

Регуляризация добавляет штраф за сложность модели к функции потерь, предотвращая переобучение. Основные типы:

1. L1 (Lasso) - добавляет сумму модулей весов (λΣ|w|). Обнуляет некоторые веса, выполняя отбор признаков.

from sklearn.linear_model import Lasso
model = Lasso(alpha=0.1)  # alpha - сила регуляризации

2. L2 (Ridge) - добавляет сумму квадратов весов (λΣw²). Уменьшает веса, но не обнуляет.

from sklearn.linear_model import Ridge
model = Ridge(alpha=0.1)

3. ElasticNet - комбинация L1 и L2.

Чем больше λ (alpha), тем сильнее эффект. Регуляризация особенно полезна при:

• Малом объеме данных
• Большом количестве признаков
• Мультиколлинеарности

Выбор между L1/L2 зависит от задачи: L1 для отбора признаков, L2 для общей стабилизации.