Как связана дисперсия с количеством базовых моделей в ансамбле

Дисперсия ансамбля уменьшается с увеличением количества базовых моделей, так как ошибки отдельных моделей усредняются. Для ансамбля из (N) независимых моделей дисперсия предсказаний ансамбля в (N) раз меньше дисперсии одной модели:

[
\text{Var}(\hat{f}_{\text{ens}}) = \frac{\text{Var}(\hat{f})}{N}
]

На практике модели не полностью независимы (например, в бэггинге), поэтому дисперсия уменьшается слабее. Пример с бэггингом в sklearn:

from sklearn.ensemble import BaggingRegressor
from sklearn.tree import DecisionTreeRegressor

# Базовые модели с высокой дисперсией (деревья)
base_model = DecisionTreeRegressor()
ensemble = BaggingRegressor(base_model, n_estimators=100)
# Дисперсия ансамбля будет меньше, чем у одной модели