Что будет в результате бэггинга над линейными моделями

Бэггинг (bagging) над линейными моделями, такими как линейная регрессия или логистическая регрессия, обычно не дает значимого улучшения, так как эти модели имеют низкую дисперсию и высокое смещение. Бэггинг эффективен для уменьшения дисперсии, но не смещения. В итоге ансамбль будет близок к исходной модели.

Пример с sklearn:

from sklearn.ensemble import BaggingRegressor
from sklearn.linear_model import LinearRegression

bagging = BaggingRegressor(
    LinearRegression(),
    n_estimators=10,
    random_state=42
)
bagging.fit(X_train, y_train)
# Предсказания будут близки к обычной линейной регрессии

Для линейных моделей лучше использовать методы, уменьшающие смещение (например, полиномиальные признаки, регуляризацию).