Как происходит обучение бустинга

Бустинг — это ансамблевый метод, где модели обучаются последовательно, каждая новая исправляет ошибки предыдущей. Основные шаги:

1. Инициализация базовой модели (обычно предсказывающей среднее значение).
2. Для каждой итерации:
   • Вычисляются остатки (разница между предсказанием и истинным значением).
   • Новая модель обучается на этих остатках.
   • Предсказания обновляются с учетом новой модели (с коэффициентом обучения).

Пример с XGBoost:

import xgboost as xgb
from sklearn.datasets import make_regression

X, y = make_regression(n_samples=1000, n_features=10)
model = xgb.XGBRegressor(n_estimators=100, learning_rate=0.1)
model.fit(X, y)

Ключевые особенности:

• Веса объектов с большими ошибками увеличиваются
• Используется градиентный спуск для минимизации функции потерь
• Может применяться к разным алгоритмам (деревья, линейные модели)
• Чем меньше learning_rate, тем больше итераций нужно