Как подобрать гиперпараметры для градиентного бустинга

Для подбора гиперпараметров в градиентном бустинге (XGBoost, LightGBM, CatBoost) используйте:

1. GridSearchCV - полный перебор по сетке параметров (медленно, но точно)

from sklearn.model_selection import GridSearchCV
params = {'max_depth': [3, 5, 7], 'learning_rate': [0.1, 0.01]}
grid = GridSearchCV(estimator=xgb, param_grid=params, cv=5)
grid.fit(X, y)

2. RandomizedSearchCV - случайный поиск (быстрее, хорош для начального подбора)

from sklearn.model_selection import RandomizedSearchCV
params = {'max_depth': range(3,10), 'subsample': [0.6, 0.8, 1.0]}
random_search = RandomizedSearchCV(xgb, params, n_iter=20, cv=5)

3. Optuna/BayesianOptimization - интеллектуальный поиск (оптимальный баланс скорости и качества)

Ключевые параметры для настройки:

• learning_rate (0.01-0.3)
• n_estimators (100-1000)
• max_depth (3-10)
• subsample/colsample_bytree (0.6-1.0)
• min_child_weight (1-10)

Всегда используйте кросс-валидацию и раннюю остановку (early_stopping_rounds) для объективной оценки.