Что происходит со смещением и дисперсией при бустинге

Бустинг уменьшает смещение (bias) за счёт последовательного обучения слабых моделей на ошибках предыдущих. Каждая новая модель фокусируется на исправлении остаточных ошибок, что приводит к более точной итоговой модели. Однако это может увеличить дисперсию (variance), так как бустинг склонен к переобучению, особенно с большим числом итераций. Регуляризация (например, learning_rate в Gradient Boosting) помогает контролировать этот эффект.

Пример с XGBoost:

from xgboost import XGBClassifier
model = XGBClassifier(
    n_estimators=100,  # количество деревьев (увеличивает сложность)
    learning_rate=0.1,  # уменьшает вклад каждого дерева, снижая дисперсию
    max_depth=3        # ограничивает сложность деревьев
)