Нравится ли XGBoost

XGBoost — один из самых популярных алгоритмов для задач классификации и регрессии благодаря своей скорости, точности и гибкости. Он эффективно работает с большими данными, поддерживает регуляризацию (L1/L2), обработку пропусков и категориальных признаков (после кодирования).

Плюсы:

• Высокая производительность (оптимизация через градиентный бустинг).
• Встроенная кросс-валидация и ранняя остановка.
• Интерпретируемость (feature importance).

Минусы:

• Может переобучаться на маленьких датасетах.
• Требует тонкой настройки гиперпараметров.

Пример:

import xgboost as xgb
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)

model = xgb.XGBClassifier(n_estimators=100, max_depth=3)
model.fit(X_train, y_train)
print("Accuracy:", model.score(X_test, y_test))

Идеален для соревнований (например, Kaggle) и production-решений, где важны скорость и точность.