Как выбираешь параметры для бустинга

Основные параметры для бустинга (XGBoost, LightGBM, CatBoost):

1. learning_rate (eta) - шаг обучения (0.01-0.3). Меньшие значения требуют больше деревьев.
2. n_estimators - количество деревьев. Начинают с 100-500, увеличивают при малом learning_rate.
3. max_depth - глубина деревьев (3-10). Слишком большие значения ведут к переобучению.
4. subsample/colsample - доля строк/колонок для каждого дерева (0.5-1.0).

Пример настройки в XGBoost:

params = {
    'learning_rate': 0.1,
    'max_depth': 6,
    'subsample': 0.8,
    'colsample_bytree': 0.8,
    'n_estimators': 500
}
model = xgb.XGBClassifier(**params)

Оптимизация через GridSearchCV или RandomizedSearchCV. Сначала настраивают n_estimators с умеренным learning_rate, затем другие параметры. Важно использовать кросс-валидацию!