Как строится градиентный бустинг

Градиентный бустинг (Gradient Boosting) — это ансамблевый метод, который последовательно строит деревья, исправляя ошибки предыдущих. Основные шаги:

1. Инициализация начальным предсказанием (например, средним значением таргета)
2. Для каждой итерации:
   • Вычисляются остатки (разница между истинным значением и предсказанием)
   • На остатках обучается новое дерево
   • Предсказание обновляется с учетом нового дерева (с шагом обучения)

Пример с GradientBoostingRegressor в sklearn:

from sklearn.ensemble import GradientBoostingRegressor
model = GradientBoostingRegressor(
    n_estimators=100,  # кол-во деревьев
    learning_rate=0.1, # шаг обучения
    max_depth=3        # глубина деревьев
)
model.fit(X_train, y_train)

Ключевые параметры:

• n_estimators — количество деревьев
• learning_rate — скорость обучения (меньше значение → больше деревьев нужно)
• max_depth — глубина деревьев

Основные реализации: XGBoost, LightGBM, CatBoost (оптимизированные версии).