Для чего нужна кросс-валидация

Кросс-валидация позволяет более надежно оценить качество модели, используя все доступные данные для обучения и тестирования. Она решает две ключевые проблемы:

1. Переобучение — модель оценивается на разных подмножествах данных, что снижает риск оптимизации под конкретный тестовый набор.
2. Недостаток данных — особенно полезна при малых датасетах, где обычное разбиение на train/test может привести к потере информации.

Самый популярный метод — k-fold CV, где данные разбиваются на k частей, модель обучается на k-1 частях и тестируется на оставшейся. Пример с sklearn:

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier()
scores = cross_val_score(model, X, y, cv=5)  # 5-fold CV
print(f"Accuracy: {scores.mean():.2f} ± {scores.std():.2f}")