Почему в бустинге не используется регрессия в качестве базового алгоритма

В бустинге (например, в Gradient Boosting) базовые алгоритмы — это обычно "слабые" модели, такие как деревья решений. Регрессия (например, линейная) редко используется, потому что:

1. Сложность композиции: Линейные модели сложно комбинировать, так как их сумма — тоже линейная модель, что ограничивает выразительность ансамбля.

2. Нелинейность данных: Деревья лучше捕捉ляют нелинейные зависимости, а бустинг как раз усиливает эту способность.

3. Устойчивость к шуму: Деревья менее чувствительны к выбросам, чем линейные модели.

Пример с GradientBoostingRegressor в sklearn:

from sklearn.ensemble import GradientBoostingRegressor
model = GradientBoostingRegressor(n_estimators=100, max_depth=3)
model.fit(X_train, y_train)

Здесь базовые модели — деревья (max_depth=3), а не регрессия.