Какие знаешь проблемы мультиколлинеарности при градиентном спуске

Мультиколлинеарность может замедлять сходимость градиентного спуска из-за плохой обусловленности матрицы признаков. При сильной корреляции признаков градиент "колеблется" вдоль направлений с разными масштабами, что требует осторожного выбора learning rate.

Пример с регуляризацией в sklearn:

from sklearn.linear_model import Ridge
ridge = Ridge(alpha=1.0)  # L2 регуляризация помогает
ridge.fit(X_collinear, y)

Основные проблемы:

1. Нестабильные оценки коэффициентов
2. Затруднена интерпретация вклада признаков
3. Может потребоваться уменьшение learning rate
4. Увеличивается дисперсия предсказаний

Методы борьбы:

• Регуляризация (L1/L2)
• Удаление коррелирующих признаков
• PCA для уменьшения размерности