Как регуляризация помогает бороться с переобучением

Регуляризация добавляет штраф за сложность модели в функцию потерь, ограничивая веса и предотвращая их чрезмерный рост. Это снижает дисперсию модели без значительного увеличения смещения.

Основные типы:

• L1 (Lasso) – обнуляет некоторые веса, выполняя отбор признаков.
• L2 (Ridge) – уменьшает веса равномерно, но не обнуляет.

Пример с sklearn:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # alpha – сила регуляризации
model.fit(X_train, y_train)

Почему работает: Штраф за большие веса делает модель менее чувствительной к шумам в данных и выбросам. Оптимальный уровень регуляризации подбирается через кросс-валидацию.