Что такое gradient-boosting trees

Gradient Boosting Trees (GBT) — это ансамблевый метод машинного обучения, который строит последовательность деревьев, где каждое новое дерево исправляет ошибки предыдущих. Основная идея — минимизировать функцию потерь с помощью градиентного спуска, где "градиенты" — это остатки ошибок.

Ключевые особенности:

• Использует weak learners (обычно неглубокие деревья).
• Работает итеративно, добавляя деревья для коррекции ошибок.
• Чувствителен к гиперпараметрам (количество деревьев, глубина, скорость обучения).

Пример (XGBoost):

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

model = xgb.XGBRegressor(n_estimators=100, max_depth=3, learning_rate=0.1)
model.fit(X_train, y_train)
print("Score:", model.score(X_test, y_test))

Плюсы: высокая точность, устойчивость к переобучению (при правильной настройке).
Минусы: требует тщательной настройки, может быть медленным на больших данных.