Как считается ROC AUC

ROC AUC (Area Under the Receiver Operating Characteristic Curve) — это метрика, оценивающая качество бинарной классификации. Она показывает, насколько модель способна различать классы. Значение варьируется от 0 до 1, где 1 — идеальное разделение, 0.5 — случайное угадывание.

Как считается:

1. Сортируем объекты по убыванию предсказанной вероятности положительного класса.
2. Строим ROC-кривую, вычисляя TPR (True Positive Rate) и FPR (False Positive Rate) для разных порогов.
3. AUC — площадь под этой кривой, вычисляется методом трапеций.

Пример на Python:

from sklearn.metrics import roc_auc_score

y_true = [0, 1, 1, 0]
y_scores = [0.1, 0.4, 0.35, 0.8]
roc_auc = roc_auc_score(y_true, y_scores)
print(roc_auc)  # Пример вывода: 0.75

Нюансы:

• Чувствительна к дисбалансу классов.
• Не требует жесткого порога классификации.
• Интерпретируется как вероятность, что случайный положительный пример будет ранжирован выше случайного отрицательного.