Как устроен boosting

Boosting — это ансамблевый метод, который последовательно обучает слабые модели, каждая из которых исправляет ошибки предыдущей. Основная идея: взвешивание объектов (увеличение веса ошибочных) и комбинирование предсказаний. Популярные алгоритмы: AdaBoost, Gradient Boosting (XGBoost, LightGBM, CatBoost).

Пример с AdaBoost:

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier

# Создаем слабый классификатор (обычно дерево глубиной 1)
base_estimator = DecisionTreeClassifier(max_depth=1)

# Инициализируем AdaBoost
model = AdaBoostClassifier(
    estimator=base_estimator,
    n_estimators=50,
    learning_rate=1.0
)
model.fit(X_train, y_train)

Ключевые особенности:

1. Последовательное обучение (в отличие от бэггинга)
2. Веса объектов обновляются после каждой итерации
3. Финальное предсказание — взвешенное голосование

Gradient Boosting оптимизирует функцию потерь через градиентный спуск, минимизируя остатки. XGBoost добавляет регуляризацию и эффективную работу с пропусками.