Какое значение ROC AUC не учитывает

ROC AUC (Area Under the Receiver Operating Characteristic Curve) оценивает способность модели различать классы, но не учитывает:

1. Порог классификации — метрика оценивает качество ранжирования, но не зависит от выбранного порога для бинарного предсказания.
2. Распределение классов — ROC AUC инвариантна к дисбалансу классов, что может быть недостатком, если важна точность на редком классе.
3. Качество калибровки — модель может идеально ранжировать объекты, но давать некорректные вероятности (например, завышенные/заниженные).

Пример:

from sklearn.metrics import roc_auc_score

# Идеальное ранжирование, но вероятности некорректны
y_true = [0, 1, 0, 1]
y_pred_high = [0.9, 0.91, 0.1, 0.92]  # AUC = 1.0, но вероятности завышены
print(roc_auc_score(y_true, y_pred_high))