Что будет, если убрать первое дерево в бустинге

Если убрать первое дерево в бустинге (например, в Gradient Boosting или XGBoost), модель потеряет начальное приближение (базовый прогноз). Обычно это среднее значение целевой переменной для регрессии или логарифм шансов для классификации.

Пример с XGBoost:

import xgboost as xgb
model = xgb.XGBRegressor(n_estimators=10)
model.fit(X_train, y_train)
# Удаляем первое дерево
model._Booster.trees_to_df().iloc[1:]  # Останутся деревья с индексами 1-9

Последствия:

1. Начальные остатки (residuals) будут некорректными, так как первое дерево обычно исправляет bias.
2. Модель может хуже сходиться, особенно на ранних итерациях.
3. Влияние сильнее для маленького числа деревьев (n_estimators < 50).

На практике первое дерево редко удаляют, так как оно играет важную роль в инициализации процесса бустинга.