Какие плюсы и минусы градиентного бустинга

Плюсы:

• Высокая точность предсказаний за счет последовательного обучения слабых моделей
• Универсальность: работает с разными типами данных (числовые, категориальные)
• Встроенная регуляризация (например, в XGBoost, LightGBM) уменьшает переобучение
• Автоматически обрабатывает пропуски в данных (в некоторых реализациях)

Минусы:

• Склонность к переобучению без тщательной настройки гиперпараметров
• Вычислительно затратный, особенно на больших данных
• Менее интерпретируем, чем линейные модели или деревья решений

Пример с XGBoost:

import xgboost as xgb
model = xgb.XGBClassifier(
    n_estimators=100,
    max_depth=3,
    learning_rate=0.1
)
model.fit(X_train, y_train)