Как работает gradient-boosting регрессор

Gradient Boosting — это ансамблевый метод, который строит последовательность слабых моделей (обычно деревьев), где каждая следующая модель исправляет ошибки предыдущих. Основные шаги:

1. Начинаем с константного предсказания (например, среднее значение таргета).
2. Вычисляем остатки (разницу между истинным значением и предсказанием).
3. Обучаем новую модель на этих остатках.
4. Добавляем её предсказания к ансамблю с учётом learning rate.
5. Повторяем шаги 2-4 заданное количество раз.

Пример с sklearn:

from sklearn.ensemble import GradientBoostingRegressor
model = GradientBoostingRegressor(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3
)
model.fit(X_train, y_train)

Ключевые параметры:

• n_estimators: количество деревьев
• learning_rate: шаг градиентного спуска
• max_depth: глубина деревьев

Преимущества: хорошая точность, устойчивость к выбросам.
Недостатки: может переобучаться, требует тщательного подбора параметров.