Что произойдет в бустинге, если изменить глубину деревьев при их неизменном количестве

Изменение глубины деревьев в бустинге (например, в XGBoost или LightGBM) влияет на баланс между смещением и дисперсией модели.

• Мелкие деревья (малая глубина):
  • Уменьшают переобучение (низкая дисперсия)
  • Могут недотягивать до сложных паттернов (высокое смещение)
  • Быстрее обучаются

• Глубокие деревья:
  • Ловят сложные зависимости (низкое смещение)
  • Риск переобучения (высокая дисперсия)
  • Требуют больше времени на обучение

Пример настройки в XGBoost:

# Мелкие деревья
model_shallow = XGBClassifier(max_depth=2)  

# Глубокие деревья
model_deep = XGBClassifier(max_depth=10)

Оптимальная глубина обычно подбирается через кросс-валидацию. В бустинге часто используют деревья средней глубины (3-8), так как ансамбль и так снижает дисперсию.