Что знаешь про компромисс между смещением и дисперсией

Компромисс между смещением (bias) и дисперсией (variance) — это ключевая концепция в машинном обучении, описывающая баланс между ошибкой, вызванной упрощёнными предположениями модели (смещение), и чувствительностью модели к небольшим изменениям в обучающих данных (дисперсия).

• Высокое смещение: модель недообучается (например, линейная регрессия для сложных данных).
• Высокая дисперсия: модель переобучается (например, дерево решений с большой глубиной).

Оптимальная модель минимизирует общую ошибку (bias² + variance + irreducible error).

Пример с полиномиальной регрессией:

from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# Генерируем данные
X = np.linspace(0, 10, 100).reshape(-1, 1)
y = np.sin(X) + np.random.normal(0, 0.1, size=(100, 1))

# Сравним степени полинома
for degree in [1, 3, 10]:
    poly = PolynomialFeatures(degree)
    X_poly = poly.fit_transform(X)
    model = LinearRegression().fit(X_poly, y)
    print(f"Degree {degree}: MSE = {mean_squared_error(y, model.predict(X_poly)):.3f}")

Degree 1 — высокое смещение, Degree 10 — высокая дисперсия, Degree 3 — баланс.