В чем разница между ридж и линейной регрессией

Ридж-регрессия (L2-регуляризация) добавляет штраф за большие веса к функции потерь, что помогает бороться с переобучением и мультиколлинеарностью. В отличие от линейной регрессии, где коэффициенты могут быть нестабильными при сильной корреляции признаков, ридж-сжимает их, но не обнуляет.

Пример:

from sklearn.linear_model import Ridge, LinearRegression
import numpy as np

X = np.array([[1, 2], [3, 4], [5, 6]])
y = np.array([3, 7, 11])

# Линейная регрессия
lr = LinearRegression().fit(X, y)
print(lr.coef_)  # Может дать большие коэффициенты

# Ридж-регрессия
ridge = Ridge(alpha=1.0).fit(X, y)
print(ridge.coef_)  # Коэффициенты сжаты

Ключевое отличие:

• Линейная регрессия минимизирует MSE без ограничений.
• Ридж добавляет L2-штраф (alpha * sum(коэф²)), что улучшает обобщение.