Что такое variance в предсказаниях модели

Variance в предсказаниях модели — это мера того, насколько сильно предсказания модели меняются при изменении обучающих данных. Высокая variance указывает на переобучение: модель слишком чувствительна к шуму в данных и плохо обобщает. Низкая variance характерна для устойчивых моделей, но может сопровождаться high bias (недообучением).

Пример с sklearn:

from sklearn.linear_model import LinearRegression
from sklearn.ensemble import RandomForestRegressor
import numpy as np

# Генерация данных
X = np.random.rand(100, 1)
y = 2 * X.squeeze() + np.random.normal(0, 0.1, 100)

# Линейная регрессия (низкая variance)
lr = LinearRegression().fit(X, y)
# Случайный лес (высокая variance)
rf = RandomForestRegressor(max_depth=10).fit(X, y)

Линейная модель здесь будет устойчивее к изменениям данных, чем случайный лес с большой глубиной.