В чем разница между блендингом и случайным лесом

Блендинг (blending) и случайный лес (random forest) — это ансамблевые методы, но они работают по-разному.

Случайный лес строит множество деревьев на бутстрап-выборках (с повторениями) и усредняет их предсказания. Каждое дерево обучается на случайном подмножестве признаков.

Блендинг — это двухэтапный процесс:

1. Обучаются базовые модели на части данных (например, 70%).
2. Их предсказания на оставшихся 30% используются как фичи для метамодели (например, линейной регрессии).

Пример блендинга:

from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.3)
rf = RandomForestClassifier().fit(X_train, y_train)
val_preds = rf.predict_proba(X_val)[:, 1]
meta_model = LogisticRegression().fit(val_preds.reshape(-1, 1), y_val)

Ключевое отличие: случайный лес агрегирует деревья "на лету", а блендинг явно разделяет обучение базовых моделей и метамодели.