Как подобрать гиперпараметры к градиентному бустингу

Для подбора гиперпараметров в градиентном бустинге (например, XGBoost, LightGBM, CatBoost) можно использовать несколько подходов:

1. GridSearchCV – полный перебор комбинаций параметров. Подходит для небольшого пространства параметров.

from sklearn.model_selection import GridSearchCV
params = {
    'n_estimators': [100, 200],
    'learning_rate': [0.01, 0.1]
}
grid = GridSearchCV(estimator=xgb, param_grid=params, cv=5)
grid.fit(X, y)

2. RandomizedSearchCV – случайный поиск. Эффективнее при большом количестве параметров.

from sklearn.model_selection import RandomizedSearchCV
params = {
    'max_depth': [3, 5, 7],
    'subsample': [0.8, 1.0]
}
random_search = RandomizedSearchCV(estimator=xgb, param_distributions=params, n_iter=10, cv=5)

3. Optuna/Bayesian Optimization – интеллектуальный подбор параметров с учетом предыдущих результатов. Оптимально для сложных случаев.

Ключевые гиперпараметры:

• learning_rate (шаг обучения)
• n_estimators (число деревьев)
• max_depth (глубина деревьев)
• subsample (доля данных для обучения каждого дерева)

Совет: Начните с небольшого learning_rate (0.01-0.1) и большого n_estimators, затем оптимизируйте остальные параметры.