Какие знаешь методы борьбы с переобучением бустинга

Регуляризация (alpha, lambda в XGBoost/LightGBM), уменьшение learning_rate с увеличением n_estimators, ранняя остановка (early_stopping_rounds), ограничение глубины деревьев (max_depth), субсэмплирование данных (subsample) и признаков (colsample_bytree). Также помогает мониторинг метрик на валидации.

Пример для LightGBM:

params = {
    'learning_rate': 0.05,
    'max_depth': 5,
    'subsample': 0.8,
    'colsample_bytree': 0.8,
    'reg_alpha': 0.1,
    'reg_lambda': 0.1,
    'n_estimators': 1000
}
model = lgb.train(params, train_data, 
                 valid_sets=[valid_data],
                 early_stopping_rounds=50)