Что такое робастная регрессия

Робастная регрессия — это метод, устойчивый к выбросам и нарушениям стандартных предположений (например, нормальности ошибок). В отличие от МНК, она минимизирует влияние аномалий за счёт специальных функций потерь (например, Huber loss или Tukey's biweight).

Пример с Huber loss в sklearn:

from sklearn.linear_model import HuberRegressor
import numpy as np

X = np.array([[1], [2], [3], [4], [100]])  # Выброс в последней точке
y = np.array([2, 4, 6, 8, 500])  

model = HuberRegressor().fit(X, y)
print(model.coef_)  # Коэф. ближе к истинному тренду (2), чем у МНК

Плюсы:

• Устойчивость к выбросам.
• Сохраняет интерпретируемость линейной модели.

Минусы:

• Вычислительно сложнее МНК.
• Требует настройки гиперпараметров (например, epsilon в Huber).

Подходит для данных с зашумлёнными наблюдениями или тяжёлыми хвостами.