Что такое градиентный бустинг

Градиентный бустинг — это ансамблевый метод машинного обучения, который последовательно строит слабые модели (обычно деревья решений), каждая из которых исправляет ошибки предыдущей. Основная идея — минимизировать функцию потерь с помощью градиентного спуска, где каждый новый модель обучается на остатках (градиентах) ошибок предыдущих моделей.

Пример с XGBoost:

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target)

model = xgb.XGBRegressor(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
predictions = model.predict(X_test)

Ключевые особенности:

• Использует градиенты функции потерь для оптимизации
• Устойчив к переобучению (регуляризация, шаг обучения)
• Поддерживает различные функции потерь
• Эффективен на структурированных данных

Популярные реализации: XGBoost, LightGBM, CatBoost.