В каком порядке делаешь отбор гиперпараметров для бустинга

Начинаю с learning_rate (обычно 0.01-0.3), затем подбираю n_estimators (50-1000). Далее:

• max_depth/num_leaves (3-10 для depth, 10-200 для leaves)
• min_child_weight/min_data_in_leaf (1-10)
• subsample/feature_fraction (0.6-1.0)
• регуляризация (lambda_l1, lambda_l2)

Использую RandomizedSearchCV для быстрого поиска, затем GridSearchCV для точной настройки.

Пример для LightGBM:

param_grid = {
    'learning_rate': [0.01, 0.1, 0.3],
    'n_estimators': [100, 500],
    'max_depth': [3, 5, 7]
}
search = GridSearchCV(lgbm, param_grid, cv=5)
search.fit(X, y)

Важно: порядок может меняться в зависимости от задачи и времени.