Как бороться с переобучением модели

Для борьбы с переобучением можно использовать следующие методы:

1. Регуляризация (L1/L2) – добавляет штраф за большие веса:

from sklearn.linear_model import LogisticRegression
model = LogisticRegression(penalty='l2', C=0.1)

2. Ранняя остановка – прекращение обучения при ухудшении валидационной метрики (часто в градиентном бустинге).

3. Упрощение модели – уменьшение глубины деревьев/числа слоёв.

4. Кросс-валидация – оценка на разных фолдах:

from sklearn.model_selection import cross_val_score
scores = cross_val_score(model, X, y, cv=5)

5. Дропаут (для нейросетей) – случайное отключение нейронов.

6. Аугментация данных – искусственное увеличение обучающей выборки.

7. Баггинг/бустинг – ансамблирование моделей.

Важно мониторить разницу между train и validation ошибкой – если train сильно ниже, значит есть переобучение.