Как регуляризуется линейная модель

Регуляризация линейных моделей добавляет штраф за большие коэффициенты к функции потерь, предотвращая переобучение. Основные методы:

1. L1 (Lasso) - добавляет штраф в виде суммы модулей коэффициентов (λΣ|w|). Может обнулять некоторые веса, выполняя отбор признаков.

from sklearn.linear_model import Lasso
model = Lasso(alpha=0.1)  # alpha - сила регуляризации

2. L2 (Ridge) - штрафует сумму квадратов коэффициентов (λΣw²). Сжимает веса, но не обнуляет.

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)

3. ElasticNet - комбинация L1 и L2 (λ₁Σ|w| + λ₂Σw²). Параметр l1_ratio контролирует баланс.

Выбор метода зависит от задачи: Lasso для отбора признаков, Ridge для мультиколлинеарности, ElasticNet для компромисса.