Для чего уменьшать дисперсию

Уменьшение дисперсии в моделях машинного обучения помогает снизить переобучение (overfitting), когда модель слишком подстраивается под обучающие данные и плохо обобщает на новые. Это особенно важно для сложных моделей (например, деревьев решений или нейросетей).

Пример с кодом (регуляризация в линейной регрессии):

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2-регуляризация
model.fit(X_train, y_train)

Методы уменьшения дисперсии:

• Регуляризация (L1/L2)
• Усреднение (бэггинг, бустинг)
• Уменьшение сложности модели
• Dropout (в нейросетях)
• Ранняя остановка

Баланс между смещением (bias) и дисперсией (variance) — ключевой аспект построения качественных моделей.