Какие знаешь типы регуляризации

L1 (Lasso) и L2 (Ridge) — основные типы регуляризации.

L1 (Lasso) добавляет штраф за абсолютные значения весов (|w|), что может обнулить некоторые коэффициенты (полезно для feature selection).
L2 (Ridge) штрафует квадраты весов (w²), уменьшая их, но не обнуляя.

Также есть ElasticNet — комбинация L1 и L2.

Пример в sklearn:

from sklearn.linear_model import Lasso, Ridge, ElasticNet

# L1 регуляризация
lasso = Lasso(alpha=0.1).fit(X_train, y_train)

# L2 регуляризация
ridge = Ridge(alpha=0.1).fit(X_train, y_train)

# ElasticNet
elastic = ElasticNet(alpha=0.1, l1_ratio=0.5).fit(X_train, y_train)

Дополнительно: Dropout в нейросетях, Early Stopping, BatchNorm — тоже формы регуляризации.