Как меняется bias и variance при регуляризации в линейной или логистической регрессии

Регуляризация добавляет штраф за большие веса модели, что влияет на bias и variance:

• L1 (Lasso): уменьшает variance за счет обнуления некоторых весов (feature selection), но может увеличить bias
• L2 (Ridge): уменьшает variance, сокращая величину всех весов, слегка увеличивая bias

Пример с Ridge регрессией:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # alpha - сила регуляризации
model.fit(X_train, y_train)

Эффект:

• Слабый alpha: малый bias, высокая variance (риск переобучения)
• Сильный alpha: высокий bias, малая variance (риск недообучения)
• Оптимальный alpha находят кросс-валидацией

Регуляризация - это компромисс между bias и variance (bias-variance tradeoff).