Блендинг (blending) — это техника ансамблирования моделей, где предсказания нескольких базовых моделей объединяются с помощью метамодели (обычно линейной регрессии или другого простого алгоритма). В отличие от стекинга, блендинг использует отдельный holdout-набор для обучения метамодели, а не кросс-валидацию.

Пример кода:

from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
import numpy as np

Разделим данные на train и holdout

X_train, X_holdout, y_train, y_holdout = train_test_split(X, y, test_size=0.3)

Обучим базовые модели

model1 = RandomForestClassifier().fit(X_train, y_train)
model2 = LogisticRegression().fit(X_train, y_train)

Получим предсказания для holdout

preds1 = model1.predict_proba(X_holdout)[:, 1]
preds2 = model2.predict_proba(X_holdout)[:, 1]

Обучим метамодель на предсказаниях

blender = LogisticRegression().fit(np.column_stack([preds1, preds2]), y_holdout)

Плюсы: простота, эффективность. Минусы: риск переобучения на holdout, требует больше данных.