Нравится ли GBM

GBM (Gradient Boosting Machines) — мощный алгоритм для задач регрессии и классификации. Его сильные стороны:

• Высокая точность за счет последовательного обучения ансамбля слабых моделей.
• Гибкость: поддерживает различные функции потерь и может работать с категориальными признаками.
• Интерпретируемость (если использовать feature_importances_).

Но есть и минусы:

• Может переобучаться, требует тщательной настройки гиперпараметров (learning rate, глубина деревьев).
• Медленнее, чем Random Forest, из-за последовательного обучения.

Пример с XGBoost (оптимизированная версия GBM):

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)
model = xgb.XGBRegressor(n_estimators=100, max_depth=3, learning_rate=0.1)
model.fit(X_train, y_train)
print("R2 score:", model.score(X_test, y_test))

Итог: GBM — отличный выбор для многих задач, но требует аккуратного использования.