Почему градиентный бустинг называется градиентным

Градиентный бустинг называется так, потому что он минимизирует функцию потерь, используя градиентный спуск в пространстве функций. На каждом шаге алгоритм строит новую модель (обычно дерево), которая аппроксимирует антиградиент текущего ансамбля по функции потерь. Таким образом, каждый следующий базовый алгоритм "движется" в направлении, противоположном градиенту, уменьшая ошибку.

Пример с xgboost:

import xgboost as xgb
from sklearn.datasets import make_regression

X, y = make_regression(n_samples=1000, n_features=10)
model = xgb.XGBRegressor(objective='reg:squarederror')
model.fit(X, y)  # здесь неявно используется градиентный спуск

Ключевая идея: вместо обычного бустинга, где новые модели исправляют ошибки предыдущих напрямую, градиентный бустинг делает это через градиенты функции потерь.