Какие деревья предпочтительнее для бустинга

Для бустинга обычно используют неглубокие деревья (weak learners), так как они менее склонны к переобучению. Основные варианты:

1. Решающие деревья (Decision Trees) с ограничениями:
   • Малая глубина (3-8 уровней)
   • Минимальное число образцов в листе (10-100)
   • Пример для XGBoost:
     python

     Копировать

     params = {
         'max_depth': 3,
         'min_child_weight': 10,
         'eta': 0.1
     }

2. Деревья с гистограммным методом (LightGBM) - быстрее на больших данных

3. Деревья с категориальными признаками (CatBoost) - эффективны для категориальных данных

Ключевое - баланс между скоростью обучения и качеством. XGBoost часто использует деревья глубиной 3-6, LightGBM может работать с большей глубиной благодаря гистограммной оптимизации.