Как регуляризуется бустинг

Бустинг регуляризуется несколькими способами:

1. Параметры самого алгоритма:
   • learning_rate - уменьшает вклад каждого дерева
   • max_depth/num_leaves - ограничивает сложность деревьев
   • min_child_weight - минимальное число объектов в листе
   • subsample/colsample_bytree - случайные подвыборки объектов и признаков

2. Ранняя остановка (early stopping) - обучение останавливается, когда качество на валидации перестает улучшаться.

Пример для XGBoost:

params = {
    'learning_rate': 0.1,
    'max_depth': 5,
    'min_child_weight': 3,
    'subsample': 0.8,
    'colsample_bytree': 0.8
}
model = XGBClassifier(**params)
model.fit(X_train, y_train, 
          eval_set=[(X_val, y_val)],
          early_stopping_rounds=50)

Также можно использовать L1/L2 регуляризацию на веса листьев (reg_alpha, reg_lambda в XGBoost).