Какой базовый алгоритм чаще всего используется в бустинге

Градиентный бустинг (Gradient Boosting) — это основной алгоритм, лежащий в основе популярных библиотек, таких как XGBoost, LightGBM и CatBoost. Он последовательно строит ансамбль слабых моделей (обычно деревьев решений), минимизируя ошибку с помощью градиентного спуска.

Пример с XGBoost:

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

model = xgb.XGBRegressor(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print("Score:", model.score(X_test, y_test))

Ключевые особенности:

• Минимизация потерь через градиенты
• Регуляризация для борьбы с переобучением
• Поддержка пропущенных значений и категориальных признаков (в CatBoost/LightGBM)