В каких случаях ROC AUC плохо оценивает качество классификатора

ROC AUC может быть неинформативным в следующих случаях:

1. Сильный дисбаланс классов – если один класс значительно преобладает, ROC AUC может оставаться высоким даже при плохом предсказании миноритарного класса. Лучше использовать Precision-Recall AUC.

2. Разные стоимости ошибок – ROC AUC не учитывает, что false positive и false negative могут иметь разную важность в бизнес-контексте.

3. Пороговые решения – если важно выбрать конкретный порог классификации, ROC AUC (рассматривающий все пороги) может маскировать проблемы.

Пример:

from sklearn.metrics import roc_auc_score
y_true = [0, 0, 0, 0, 1]  # Сильный дисбаланс
y_pred = [0.1, 0.2, 0.3, 0.4, 0.5]
print(roc_auc_score(y_true, y_pred))  # 0.75 - выглядит неплохо, но классификатор слабый