Как мультиколлинеарность влияет на линейную регрессию

Мультиколлинеарность (высокая корреляция между предикторами) ухудшает интерпретируемость модели и стабильность оценок коэффициентов. Основные проблемы:

1. Коэффициенты становятся неустойчивыми — малые изменения в данных приводят к большим изменениям оценок
2. Стандартные ошибки коэффициентов увеличиваются, что снижает их значимость
3. Затрудняется выделение индивидуального влияния каждого предиктора

Методы обнаружения:

• VIF (Variance Inflation Factor): значения >5-10 указывают на проблему
• Матрица корреляций между предикторами

from statsmodels.stats.outliers_influence import variance_inflation_factor

vif_data = pd.DataFrame()
vif_data["feature"] = X.columns
vif_data["VIF"] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]

Способы решения:

• Удаление одного из коррелирующих признаков
• PCA или другие методы уменьшения размерности
• Регуляризация (Ridge/Lasso регрессия)