Как устроен случайный лес

Случайный лес (Random Forest) — это ансамблевый алгоритм, который строит множество решающих деревьев и агрегирует их результаты. Каждое дерево обучается на случайной подвыборке данных (бутстрэп) и использует случайное подмножество признаков для разбиения узлов. Это снижает переобучение и увеличивает обобщающую способность.

Как работает:

1. Создается n деревьев (по умолчанию 100).
2. Для каждого дерева:
   • Выбирается случайная подвыборка данных с повторением (бутстрэп).
   • В каждом узле рассматривается случайное подмножество признаков (max_features).
3. Результат — среднее (регрессия) или большинство голосов (классификация).

Пример (Python):

from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(n_estimators=100, max_features='sqrt')
model.fit(X_train, y_train)
predictions = model.predict(X_test)

Плюсы:

• Устойчив к шуму и переобучению.
• Работает с категориальными и числовыми признаками.
• Не требует масштабирования данных.