Для чего нужен градиент в бустинге

Градиент в бустинге (например, в Gradient Boosting) нужен для оптимизации функции потерь. Каждая новая модель (обычно дерево) обучается на градиентах ошибок предыдущих моделей, а не на самих ошибках. Это позволяет минимизировать функцию потерь итеративно, шаг за шагом.

Пример с sklearn:

from sklearn.ensemble import GradientBoostingClassifier
model = GradientBoostingClassifier(
    loss='deviance',  # функция потерь (логистическая)
    learning_rate=0.1, # шаг градиентного спуска
    n_estimators=100   # количество итераций
)
model.fit(X_train, y_train)

Градиент показывает направление наибольшего роста ошибки, а бустинг двигается в противоположном направлении (антиградиент), уменьшая ошибку предсказания.