Как обучаются деревья в Random Forest

Деревья в Random Forest обучаются с помощью бэггинга (bootstrap aggregating) и случайного выбора признаков:

1. Бэггинг: каждое дерево обучается на случайной подвыборке данных (с повторениями). Это уменьшает переобучение.

2. Случайные признаки: при каждом разбиении узла выбирается случайное подмножество признаков (обычно sqrt(n_features) для классификации, n_features/3 для регрессии).

Пример обучения в sklearn:

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(
    n_estimators=100,
    max_features='sqrt',
    bootstrap=True
)
rf.fit(X_train, y_train)

Ключевые моменты:

• Деревья растут глубокими (без обрезки)
• Предсказание - среднее (регрессия) или голосование (классификация) всех деревьев
• Параллельное обучение деревьев (независимость)