На каком таргете учатся деревья в случае алгоритма boosting в задаче бинарной классификации

В бустинге для бинарной классификации деревья учатся на остатках (псевдо-остатках), которые представляют собой градиент лосс-функции по текущим предсказаниям модели.

Для логистической потери (logloss) остаток на шаге m для объекта i вычисляется как:

residual = y_i - p_i

где y_i — истинный класс (0 или 1), p_i — предсказанная вероятность класса 1 от ансамбля на предыдущем шаге.

Пример с XGBoost:

import xgboost as xgb
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=1000, n_classes=2)
model = xgb.XGBClassifier(objective='binary:logistic')
model.fit(X, y)  # деревья учатся на градиентах logloss

В других алгоритмах (LightGBM, CatBoost) логика аналогична, но могут быть нюансы в вычислении градиентов или обработке категорий.