За счет чего градиентный бустинг градиентный

Градиентный бустинг называется "градиентным", потому что использует градиенты функции потерь для построения новых моделей. Каждая следующая модель обучается на ошибках предыдущей, но не на самих ошибках, а на их градиентах (антиградиентах). Это позволяет минимизировать функцию потерь более эффективно, чем простое добавление предсказаний моделей.

Пример с GradientBoostingRegressor из sklearn:

from sklearn.ensemble import GradientBoostingRegressor
model = GradientBoostingRegressor(loss='squared_error')
model.fit(X_train, y_train)  # На каждом шаге обучается на градиентах

Ключевые моменты:

1. Использует градиенты функции потерь (MSE, logloss и др.)
2. Каждая новая модель компенсирует ошибки предыдущей через градиентный спуск
3. Позволяет работать с разными функциями потерь, не только квадратичными