Производился ли контроль дрейфа данных

Контроль дрейфа данных (data drift) — важная часть мониторинга ML-моделей. Он помогает обнаружить изменения в распределении входных данных или целевой переменной, которые могут ухудшить качество модели.

Основные подходы:

1. Статистические тесты (K-S, хи-квадрат) для сравнения распределений.
2. Метрики расстояния (Wasserstein, KL-дивергенция).
3. Мониторинг фичей (средние, медианы, процентили).

Пример с alibi-detect:

from alibi_detect import KSDrift

# Исходные данные (reference) и новые (current)
ref_data = np.random.normal(0, 1, (1000, 5))
current_data = np.random.normal(0.5, 1, (1000, 5))

# Детектор дрейфа
detector = KSDrift(ref_data, p_val=0.05)
preds = detector.predict(current_data)
print(preds['data']['is_drift'])  # True/False

Когда проверять:

• Периодически (еженедельно/ежемесячно).
• При резком падении метрик модели.

Инструменты: Evidently, Alibi Detect, Amazon SageMaker Model Monitor.