Как обучается модель случайного леса

Случайный лес (Random Forest) обучается через ансамбль решающих деревьев, каждое из которых строится на случайной подвыборке данных и признаков. Основные шаги:

1. Бутстрэппинг: Для каждого дерева создается подвыборка данных с повторениями (обычно того же размера, что и исходный датасет).
2. Случайные признаки: При каждом разбиении узла выбирается случайное подмножество признаков (обычно √p для классификации, p/3 для регрессии, где p - общее число признаков).
3. Построение деревьев: Деревья растут до максимальной глубины или пока не будет выполнено условие остановки (например, min_samples_split).

Пример обучения в sklearn:

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=100, max_features='sqrt')
rf.fit(X_train, y_train)

Ключевые параметры:

• n_estimators: количество деревьев
• max_features: число признаков для рассмотрения при разбиении
• max_depth: максимальная глубина деревьев

Случайный лес устойчив к переобучению за счет усреднения предсказаний множества деревьев.