Какие типы ошибок возникают в машинном обучении

В машинном обучении выделяют три основных типа ошибок:

1. Смещение (Bias) - систематическая ошибка из-за слишком простой модели (недообучение). Например, линейная модель для нелинейных данных.

2. Дисперсия (Variance) - ошибка из-за избыточной сложности модели (переобучение). Модель слишком подстраивается под тренировочные данные.

3. Неустранимая ошибка (Irreducible error) - шум в данных, который принципиально нельзя устранить.

Пример кода для иллюстрации смещения и дисперсии:

from sklearn.linear_model import LinearRegression, Ridge
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures

# Простая модель (высокое смещение)
model_low_complexity = LinearRegression()

# Сложная модель (высокая дисперсия)
model_high_complexity = make_pipeline(
    PolynomialFeatures(degree=10),
    Ridge(alpha=0.01)
)

Оптимальная модель достигает баланса между смещением и дисперсией (bias-variance tradeoff).