Что такое XGBoost

XGBoost (eXtreme Gradient Boosting) — это мощный алгоритм градиентного бустинга на деревьях решений, оптимизированный для скорости и производительности. Он использует ансамблевый подход, где каждое новое дерево исправляет ошибки предыдущих, минимизируя функцию потерь через градиентный спуск.

Ключевые особенности:

• Регуляризация (L1/L2) для борьбы с переобучением.
• Поддержка пропущенных значений.
• Параллельные вычисления и оптимизация памяти.
• Возможность работы с разными типами данных (числа, категории).

Пример кода:

import xgboost as xgb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

model = xgb.XGBClassifier(n_estimators=100, max_depth=3)
model.fit(X_train, y_train)
print("Accuracy:", model.score(X_test, y_test))

XGBoost часто используется в соревнованиях Kaggle из-за высокой точности и гибкости.