Какие значения могут принимать предсказания в случае бустинга

В бустинге предсказания могут принимать любые вещественные значения (ℝ), так как модели строятся как ансамбль слабых предскателей, суммирующих свои выходы. Например, в градиентном бустинге (GBM, XGBoost, LightGBM) предсказание — это взвешенная сумма предсказаний базовых моделей (обычно деревьев).

Для задач классификации:

• Бинарная классификация: предсказание — логарифм шансов (log-odds), который затем преобразуется в вероятность через сигмоиду.
• Мультиклассовая классификация: предсказания — логиты для каждого класса (через softmax).

Пример (бинарная классификация в XGBoost):

import xgboost as xgb
model = xgb.XGBClassifier()
model.fit(X_train, y_train)
# Предсказание в виде сырых значений (до сигмоиды)
raw_preds = model.predict(X_test, output_margin=True)  # ℝ
probs = model.predict_proba(X_test)  # [0, 1]

Для регрессии предсказания — просто вещественные числа (например, предсказание цены).