Что такое стекинг

Стекинг (stacking) — это метод ансамблирования моделей, где предсказания нескольких базовых моделей (первый уровень) используются как входные признаки для метамодели (второй уровень). Это позволяет комбинировать сильные стороны разных алгоритмов.

Пример с sklearn:

from sklearn.ensemble import StackingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC

base_models = [
('dt', DecisionTreeClassifier()),
('svm', SVC(probability=True))
]

stack = StackingClassifier(
estimators=base_models,
final_estimator=LogisticRegression(),
cv=5
)
stack.fit(X_train, y_train)

Ключевые особенности:
- На первом уровне обычно используют разнородные модели (деревья, SVM, линейные модели)
- Метамодель часто берут простую (логистическая регрессия)
- Обязательно используют кросс-валидацию для обучения метамодели, чтобы избежать утечки данных