Какая должна быть глубина дерева в бустинге

Оптимальная глубина дерева в бустинге (например, XGBoost, LightGBM) обычно небольшая — от 3 до 8.

Почему?

1. Бустинг — это ансамбль слабых моделей (неглубоких деревьев), где каждое дерево исправляет ошибки предыдущего.
2. Глубокие деревья склонны к переобучению и увеличивают время обучения.
3. LightGBM и XGBoost эффективно работают с неглубокими деревьями благодаря leaf-wise (LightGBM) и level-wise (XGBoost) стратегиям роста.

Пример для XGBoost:

params = {
    'max_depth': 6,  # типичное значение
    'learning_rate': 0.1,
    'n_estimators': 100
}
model = xgb.XGBClassifier(**params)

Как подбирать?

• Начните с max_depth=3-6, затем используйте кросс-валидацию.
• Для задач с малым объемом данных уменьшайте глубину (2-4).
• Для сложных данных можно увеличить до 8-10, но контролируйте переобучение через early_stopping.