Как устроен бустинг

Бустинг — это ансамблевый метод, который последовательно обучает слабые модели (обычно деревья решений), каждая из которых исправляет ошибки предыдущей. Основные принципы:

1. Итеративное обучение: Каждая новая модель фокусируется на ошибках предыдущих.
2. Взвешивание ошибок: Ошибочные предсказания получают больший вес в следующей итерации.
3. Комбинирование моделей: Итоговый прогноз — взвешенная сумма предсказаний всех моделей.

Популярные алгоритмы: AdaBoost, Gradient Boosting (GBM), XGBoost, LightGBM, CatBoost.

Пример с XGBoost:

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target)

model = xgb.XGBRegressor(n_estimators=100, max_depth=3)
model.fit(X_train, y_train)
predictions = model.predict(X_test)

Ключевые параметры: learning_rate (шаг обучения), n_estimators (число деревьев), max_depth (глубина деревьев). Бустинг эффективен на структурированных данных, но требует тщательной настройки и может переобучаться.