Почему случайный лес не переобучается

Случайный лес (Random Forest) устойчив к переобучению благодаря двум ключевым механизмам:

1. Бэггинг (Bootstrap Aggregating) – каждое дерево обучается на случайной подвыборке данных, что снижает корреляцию между деревьями и уменьшает дисперсию.
2. Случайность признаков – при построении каждого узла дерева используется случайное подмножество признаков, что дополнительно уменьшает переобучение.

Итоговый прогноз – среднее (регрессия) или голосование (классификация) множества деревьев, что сглаживает ошибки отдельных моделей.

from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(n_estimators=100, max_features='sqrt', random_state=42)
model.fit(X_train, y_train)  # Устойчив к переобучению даже на сложных данных

Однако при слишком глубоких деревьях или малом числе n_estimators переобучение возможно, но в разумных пределах – реже, чем у одиночного дерева.