Что такое bias-variance decomposition

Bias-variance decomposition разбивает ошибку модели на три компоненты:

1. Bias — систематическая ошибка из-за слишком простой модели (недообучение)
2. Variance — чувствительность к шуму в данных (переобучение)
3. Irreducible error — шум в данных, который нельзя устранить

Формула для MSE:
E[(y - ŷ)²] = Bias(ŷ)² + Var(ŷ) + σ²

Пример с полиномиальной регрессией:

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression

# Высокая степень -> низкий bias, высокая variance (переобучение)
model = make_pipeline(PolynomialFeatures(degree=10), LinearRegression())

Идеальный баланс достигается при минимизации общей ошибки (bias-variance tradeoff).