Как делаются подвыборки в Random Forest

В Random Forest подвыборки создаются с помощью двух методов:

1. Bagging (Bootstrap Aggregating):
   • Для каждого дерева случайно выбирается подмножество данных с повторениями (обычно тот же размер, что и исходный датасет)
   • Примерно 1/3 данных не попадает в выборку (out-of-bag samples) и используется для оценки

2. Случайный выбор признаков:
   • При каждом разбиении узла рассматривается только случайное подмножество признаков (обычно √p для классификации, p/3 для регрессии)

from sklearn.ensemble import RandomForestClassifier

# Создаём лес из 100 деревьев с подвыборкой признаков
model = RandomForestClassifier(
    n_estimators=100,
    max_features='sqrt',  # √p признаков для каждого разбиения
    bootstrap=True,       # включение bagging
    oob_score=True       # оценка на out-of-bag данных
)