В чем разница между XGBoost, LightGBM и CatBoost

Все три — градиентные бустинговые фреймворки, но с разными оптимизациями:

1. XGBoost
   • Основан на алгоритме Gradient Boosting с регуляризацией (L1/L2)
   • Использует предварительную сортировку для поиска лучшего разбиения
   • Пример:
     python

     Копировать

     from xgboost import XGBClassifier
     model = XGBClassifier(n_estimators=100)
     model.fit(X_train, y_train)

2. LightGBM

   • Использует Gradient-based One-Side Sampling (GOSS) и Exclusive Feature Bundling (EFB)
   • Работает с гистограммами вместо точных значений, что ускоряет обучение
   • Лучше работает с большими данными

3. CatBoost

   • Автоматически обрабатывает категориальные признаки (без one-hot encoding)
   • Использует упорядоченное бустингование для борьбы с переобучением
   • Медленнее, но часто дает лучшую точность

Когда что использовать:

• XGBoost — хороший выбор по умолчанию
• LightGBM — для больших данных или когда важна скорость
• CatBoost — если много категориальных признаков или нужна максимальная точность