В чем разницу между L1 и L2 регуляризацией

L1 (Lasso) и L2 (Ridge) регуляризация добавляют штраф за большие веса модели, но по-разному:

• L1 добавляет сумму абсолютных значений весов (|w|). Это приводит к разреженности — некоторые веса становятся нулевыми, что полезно для отбора признаков.
• L2 добавляет сумму квадратов весов (w²). Веса уменьшаются, но редко обнуляются, что помогает бороться с мультиколлинеарностью.

Пример в sklearn:

from sklearn.linear_model import Lasso, Ridge

# L1 регуляризация
lasso = Lasso(alpha=0.1).fit(X, y)  

# L2 регуляризация  
ridge = Ridge(alpha=0.1).fit(X, y)  

L1 лучше для feature selection, L2 — для стабильности модели. Иногда используют их комбинацию (ElasticNet).