Как устроен Random Forest

Random Forest — это ансамблевый алгоритм, который строит множество решающих деревьев и агрегирует их результаты.

Как работает:

1. Бутстрэппинг: Для каждого дерева выбирается случайная подвыборка данных с повторением (обычно такого же размера, как исходная).
2. Случайность признаков: При каждом разбиении узла выбирается случайное подмножество признаков (обычно sqrt(n_features) для классификации, n_features/3 для регрессии).
3. Голосование/усреднение: Для классификации — большинство голосов, для регрессии — среднее предсказание деревьев.

Преимущества:

• Устойчив к переобучению.
• Работает с категориальными и числовыми признаками.
• Не требует масштабирования данных.

Пример (Python, sklearn):

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier(n_estimators=100, max_features="sqrt", random_state=42)
model.fit(X_train, y_train)
predictions = model.predict(X_test)