Как регуляризуется CatBoost

CatBoost поддерживает несколько видов регуляризации для борьбы с переобучением:

1. L2-регуляризация (по умолчанию) - добавляет штраф за большие веса. Настраивается через l2_leaf_reg (по умолчанию 3). Чем выше значение, тем сильнее регуляризация.

2. Bagging - случайное подвыборка данных (subsample) и признаков (colsample_bylevel). Например:

model = CatBoostClassifier(iterations=500,
                          subsample=0.8,  # 80% данных
                          colsample_bylevel=0.8)  # 80% признаков

3. Ранняя остановка - автоматически останавливает обучение, если качество на валидации не улучшается (early_stopping_rounds).

4. Глубина деревьев - ограничение через depth (по умолчанию 6).

5. Шум в листьях - leaf_estimation_noise добавляет случайный шум при подсчете значений в листьях.