Как XGBoost работает с фичами

XGBoost обрабатывает фичи, строя деревья решений с учетом их важности. Он автоматически обрабатывает пропуски, категориальные признаки (после кодирования) и определяет информативность фич через gain, cover и frequency. Поддерживает раннюю остановку и регуляризацию для избежания переобучения.

Пример с категориальными фичами:

import xgboost as xgb
from sklearn.preprocessing import LabelEncoder

# Кодируем категориальные фичи
le = LabelEncoder()
df['category'] = le.fit_transform(df['category'])

# Обучаем модель
model = xgb.XGBClassifier()
model.fit(X_train, y_train)

# Важность фич
xgb.plot_importance(model)

Ключевые особенности:

• Автоматическая обработка пропусков (default=missing)
• Оптимальное разбиение по gain (уменьшение loss)
• Встроенная регуляризация (gamma, lambda, alpha)
• Поддержка весов для unbalanced data