Как обучаются деревья в градиенном бустинге

Градиентный бустинг обучает деревья итеративно, минимизируя ошибку предыдущей модели. На каждом шаге строится новое дерево, которое предсказывает антиградиент функции потерь (остатки предыдущих предсказаний).

Процесс:

1. Инициализация базового предсказания (например, среднее значение)
2. На каждой итерации:
   • Вычисляются остатки (градиент функции потерь)
   • Обучается дерево на этих остатках
   • Обновляются предсказания с учетом нового дерева (с шагом обучения)

from sklearn.ensemble import GradientBoostingRegressor

model = GradientBoostingRegressor(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3
)
model.fit(X_train, y_train)

Ключевые параметры:

• n_estimators: количество деревьев
• learning_rate: шаг обновления предсказаний
• max_depth: ограничение сложности деревьев

Каждое последующее дерево исправляет ошибки предыдущих, что приводит к постепенному улучшению модели.