Как работает градиентный бустинг

Градиентный бустинг (Gradient Boosting) — это ансамблевый метод, который последовательно строит деревья решений, каждое из которых исправляет ошибки предыдущих. Основные принципы:

1. Начинаем с константного предсказания (среднее значение для регрессии, лог-odds для классификации)
2. На каждой итерации:
   • Вычисляем градиент функции потерь относительно текущих предсказаний
   • Обучаем дерево на этих градиентах (псевдо-остатках)
   • Оптимизируем веса листьев дерева
   • Добавляем дерево с коэффициентом обучения к ансамблю

Пример с XGBoost:

import xgboost as xgb
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=1000, n_features=10)
model = xgb.XGBClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X, y)

Ключевые параметры:

• learning_rate: шаг градиентного спуска
• n_estimators: количество деревьев
• max_depth: глубина деревьев

Преимущества: высокая точность, обработка пропусков, регуляризация. Недостатки: склонность к переобучению, требует тщательной настройки.