Что такое вероятностный смысл регуляризации

Регуляризация вводит штраф за сложность модели, предотвращая переобучение. Вероятностный интерпретация:

• L1 (Lasso): соответствует априорному распределению Лапласа на веса. Предполагает, что большинство весов близки к нулю (разреженность).
• L2 (Ridge): соответствует гауссовскому априорному распределению. Предполагает, что веса малы, но не обязательно нулевые.

Пример с Ridge (L2):

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # alpha - сила регуляризации
model.fit(X_train, y_train)

L1/L2 комбинируют в ElasticNet. Выбор регуляризации зависит от задачи: L1 для отбора признаков, L2 для стабильности.