Что такое ROC-AUC

ROC-AUC (Receiver Operating Characteristic - Area Under Curve) — метрика качества бинарной классификации, показывающая способность модели различать классы. ROC-кривая строится по точкам (FPR, TPR) при варьировании порога классификации. AUC — площадь под этой кривой, значение от 0 до 1. Чем ближе к 1, тем лучше модель.

Пример расчета с sklearn:

from sklearn.metrics import roc_auc_score
y_true = [0, 1, 0, 1]
y_scores = [0.1, 0.4, 0.35, 0.8]
print(roc_auc_score(y_true, y_scores))  # 0.875

Нюансы:

• Не подходит для несбалансированных данных без доп. метрик (лучше Precision-Recall AUC)
• Чувствителен к ранжированию вероятностей, а не их абсолютным значениям
• Интерпретация: 0.5 — случайный угадыватель, >0.8 — хорошая модель