Что такое переобучение моделей

Переобучение (overfitting) возникает, когда модель слишком хорошо запоминает обучающие данные, включая шум и выбросы, вместо выявления общих закономерностей. В результате модель плохо обобщает на новых данных.

Признаки:

• Высокая точность на обучающей выборке, но низкая на тестовой
• Сложная модель с большим количеством параметров

Как бороться:

• Использовать регуляризацию (L1/L2)
• Увеличить объем данных
• Применять кросс-валидацию
• Использовать методы упрощения модели (например, уменьшение глубины дерева)

Пример с регуляризацией в sklearn:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2-регуляризация
model.fit(X_train, y_train)