В чем разница между L1- и L2-регуляризацией

L1 (Lasso) и L2 (Ridge) регуляризации добавляют штраф к функции потерь, но по-разному:

• L1 добавляет сумму абсолютных значений весов (|w|). Это приводит к разреженным решениям (некоторые веса становятся 0), что полезно для feature selection.
• L2 добавляет сумму квадратов весов (w²). Веса уменьшаются, но редко обнуляются, что помогает бороться с мультиколлинеарностью.

Пример в sklearn:

from sklearn.linear_model import Lasso, Ridge
# L1 регуляризация
lasso = Lasso(alpha=0.1).fit(X, y)
# L2 регуляризация
ridge = Ridge(alpha=0.1).fit(X, y)

L1 лучше для отбора признаков, L2 — для борьбы с переобучением. Иногда используют ElasticNet (комбинация L1 + L2).