В чем разница между методом ансамблирования бэггингом и бустингом

Бэггинг (Bagging) и бустинг (Boosting) — это методы ансамблирования, но с разными подходами:

• Бэггинг (например, Random Forest):
  • Параллельное обучение нескольких моделей на разных подвыборках данных (бутстрэп).
  • Каждая модель обучается независимо.
  • Финальный прогноз — усреднение (регрессия) или голосование (классификация).
  • Уменьшает дисперсию, но не смещение.

• Бустинг (например, AdaBoost, XGBoost):
  • Последовательное обучение моделей, где каждая следующая исправляет ошибки предыдущей.
  • Веса объектов обновляются: ошибочные примеры получают больший вес.
  • Финальный прогноз — взвешенное голосование.
  • Уменьшает и дисперсию, и смещение.

Пример бэггинга:

from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(n_estimators=100)

Пример бустинга:

from sklearn.ensemble import AdaBoostClassifier
model = AdaBoostClassifier(n_estimators=100)