Что такое бэггинг

Бэггинг (Bootstrap Aggregating) — это метод ансамблевого обучения, который уменьшает дисперсию модели и предотвращает переобучение. Основная идея: создать множество моделей на разных подвыборках исходных данных (бутстрэп-выборках), а затем усреднить их предсказания (для регрессии) или использовать голосование (для классификации).

Пример с RandomForestClassifier в Python:

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=1000, n_features=20)
model = RandomForestClassifier(n_estimators=100)  # 100 деревьев с бэггингом
model.fit(X, y)

Ключевые особенности:

• Работает параллельно (в отличие от бустинга)
• Эффективен для алгоритмов с высокой дисперсией (например, деревья решений)
• Уменьшает переобучение за счет усреднения