Как работал с XGBoost

XGBoost — это градиентный бустинг с оптимизацией скорости и производительности. Основные особенности:

1. Регуляризация — L1 (lasso) и L2 (ridge) для контроля переобучения.
2. Работа с пропусками — алгоритм сам обрабатывает NaN.
3. Встроенный кросс-валидация — cv() для подбора параметров.
4. Гибкость — поддерживает классификацию, регрессию, ранжирование.

Пример обучения:

import xgboost as xgb
from sklearn.datasets import load_boston

data = load_boston()
X, y = data.data, data.target

dtrain = xgb.DMatrix(X, label=y)
params = {
    'objective': 'reg:squarederror',
    'max_depth': 3,
    'eta': 0.1
}
model = xgb.train(params, dtrain, num_boost_round=100)

Ключевые параметры:

• max_depth: глубина деревьев
• eta: скорость обучения
• subsample: доля данных для каждого дерева
• colsample_bytree: доля признаков для дерева

Для интерпретации важности признаков используйте model.get_score() или SHAP.