На чем обучается первое дерево в бустинге

Первое дерево в бустинге обучается на исходных данных (фичах и таргете) без весов или поправок. Оно строится так же, как обычное дерево решений, минимизируя ошибку (например, MSE для регрессии или logloss для классификации). После этого вычисляются остатки (разница между предсказанием и истинным значением), которые используются для обучения следующего дерева.

Пример с XGBoost:

import xgboost as xgb
from sklearn.datasets import make_regression

X, y = make_regression(n_samples=100, n_features=5)
model = xgb.XGBRegressor(n_estimators=10)
model.fit(X, y)  # Первое дерево обучается на исходных данных

Первое дерево дает базовое предсказание, а последующие исправляют его ошибки.