Как обучается бустинг

Бустинг обучается итеративно, добавляя слабые модели (обычно деревья) для исправления ошибок предыдущих. На каждом шаге алгоритм:

1. Вычисляет остатки (разницу между предсказанием и истинным значением)
2. Обучает новую модель на этих остатках
3. Обновляет общее предсказание с учетом новой модели (с шагом обучения)

Пример с XGBoost:

import xgboost as xgb
from sklearn.datasets import make_regression

X, y = make_regression(n_samples=1000, n_features=10)
model = xgb.XGBRegressor(n_estimators=100, learning_rate=0.1)
model.fit(X, y)

Ключевые параметры:

• n_estimators: количество итераций
• learning_rate: шаг обновления предсказаний
• max_depth: сложность базовых моделей

Бустинг минимизирует функцию потерь, комбинируя предсказания через взвешенное голосование.