Какие знаешь методы ансамблирования моделей

Основные методы ансамблирования:

1. Бэггинг (Bagging) — обучение множества моделей на разных подвыборках данных (с повторениями), затем усреднение предсказаний. Пример — Random Forest.

from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(n_estimators=100)

2. Бустинг (Boosting) — последовательное обучение моделей, где каждая следующая исправляет ошибки предыдущей. Примеры: AdaBoost, Gradient Boosting (XGBoost, LightGBM, CatBoost).

3. Стекинг (Stacking) — объединение предсказаний нескольких моделей с помощью метамодели. Пример:

from sklearn.ensemble import StackingClassifier
from sklearn.linear_model import LogisticRegression
estimators = [('rf', RandomForestClassifier()), ('svm', SVC())]
stack = StackingClassifier(estimators=estimators, final_estimator=LogisticRegression())

4. Блендинг (Blending) — похож на стекинг, но разделяет данные на обучение метамодели и базовых моделей.

Ключевые различия: бэггинг параллелен, бустинг последователен, стекинг/блендинг используют метамодель. Выбор зависит от задачи, данных и вычислительных ресурсов.