Какие знаешь особенности XGBoost

XGBoost (eXtreme Gradient Boosting) — это мощный алгоритм градиентного бустинга с ключевыми особенностями:

1. Регуляризация: L1 (Lasso) и L2 (Ridge) для борьбы с переобучением.
2. Обработка пропусков: автоматически обрабатывает NaN-значения при разбиении.
3. Встроенный кросс-валидация: через cv().
4. Параллельные вычисления: использует все ядра CPU.
5. Гибкость: поддерживает кастомные функции потерь и метрики.
6. Ранняя остановка: early_stopping_rounds для оптимизации обучения.
7. Feature importance: встроенный расчет значимости признаков.

Пример:

import xgboost as xgb
params = {
    'objective': 'binary:logistic',
    'max_depth': 3,
    'lambda': 1.0  # L2 регуляризация
}
model = xgb.train(params, dtrain, num_boost_round=100)