Почему в градиентом бустинге используется большое количество неглубоких деревьев

В градиентном бустинге (например, XGBoost, LightGBM) используют неглубокие деревья (обычно глубиной 3-6) по нескольким причинам:

1. Уменьшение переобучения: глубокие деревья склонны запоминать шум в данных, а не общие закономерности. Неглубокие деревья работают как "слабые предсказатели", что улучшает обобщающую способность.

2. Постепенная коррекция ошибок: каждое новое дерево обучается на остаточных ошибках предыдущих. Неглубокие деревья вносят небольшие коррективы, что делает процесс более устойчивым.

3. Вычислительная эффективность: обучение неглубоких деревьев быстрее, а ансамбль из многих таких деревьев часто дает лучший результат, чем несколько глубоких.

Пример настройки в XGBoost:

model = XGBClassifier(
    max_depth=3,  # глубина дерева
    n_estimators=100  # количество деревьев
)