Что будет если в градиентном бустинге базовую оценочную функцию заменить на линейную регрессию

Если заменить базовую оценочную функцию в градиентном бустинге на линейную регрессию, модель станет менее гибкой, так как линейная регрессия не может улавливать сложные нелинейные зависимости. Это может привести к снижению качества предсказаний, особенно на данных с нелинейными паттернами.

Пример с XGBoost:

from xgboost import XGBRegressor
from sklearn.linear_model import LinearRegression

# Обычный XGBoost (использует деревья)
model_tree = XGBRegressor(objective='reg:squarederror')

# Замена базового алгоритма на линейную регрессию
model_linear = XGBRegressor(booster='gblinear')  # использует линейные модели

Плюсы:

• Быстрее обучение (линейные модели проще).
• Лучше интерпретируемость.

Минусы:

• Хуже работает на сложных данных.
• Не улавливает взаимодействия признаков без явного задания.

Вывод: подходит только для линейно разделимых данных или когда важна скорость.