Что является таргетом для бустинга

В бустинге таргетом является целевая переменная, которую модель пытается предсказать. Это может быть:

• Числовое значение для регрессии
• Класс (0/1 или мультикласс) для классификации
• Вероятность для ранжирования

Особенность бустинга в том, что на каждом шаге он работает с остатками (разницей между предсказанием и истинным значением) от предыдущих моделей.

Пример для регрессии в XGBoost:

import xgboost as xgb
from sklearn.datasets import make_regression

X, y = make_regression(n_samples=1000, n_features=10)  # y - таргет
model = xgb.XGBRegressor()
model.fit(X, y)  # обучаем на таргете y

Для классификации таргет должен быть закодирован (0/1 для бинарной):

from sklearn.datasets import make_classification

X, y = make_classification(n_samples=1000, n_classes=2)  # y ∈ {0,1}
model = xgb.XGBClassifier()
model.fit(X, y)