Размерность градиента при обучении бустинга равна числу объектов в обучающей выборке (n). Градиент вычисляется для функции потерь по предсказаниям модели на каждом шаге.

Пример для MSE (L2-лосса):

import numpy as np

true labels (n,)

y_true = np.array([1, 2, 3])

current predictions (n,)

y_pred = np.array([0.9, 1.8, 2.7])

Gradient for MSE: dL/dy_pred = 2*(y_pred - y_true)/n

gradient = 2 * (y_pred - y_true) / len(y_true)

shape (3,), same as number of samples

print(gradient.shape)

Для других лоссов размерность остаётся (n,), меняется только формула градиента. В XGBoost/LightGBM эти градиенты используются для построения деревьев, которые аппроксимируют антиградиент.