Как определить переобучение модели

Переобучение модели можно определить по нескольким признакам:

1. Высокая точность на обучающих данных, но низкая на тестовых
   Например, accuracy 98% на train и 60% на test.

2. Слишком сложная модель
   Модель с большим количеством параметров (например, глубокая нейросеть на маленьком датасете) часто переобучается.

3. Кривые обучения
   Если график ошибки на валидации перестаёт уменьшаться или начинает расти, а ошибка на обучении продолжает падать — это явный признак.

Пример проверки на переобучение в Python:

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
model = LogisticRegression(max_iter=1000)
model.fit(X_train, y_train)

train_acc = accuracy_score(y_train, model.predict(X_train))
test_acc = accuracy_score(y_test, model.predict(X_test))

print(f"Train accuracy: {train_acc:.2f}, Test accuracy: {test_acc:.2f}")
# Если разница > 10-15% — вероятно переобучение

Методы борьбы: регуляризация, упрощение модели, кросс-валидация, early stopping, увеличение данных.