Чем ROC-AUC лучше accuracy

ROC-AUC оценивает модель на всех возможных порогах классификации, а accuracy — только на одном. Это делает AUC более устойчивой метрикой для несбалансированных данных и позволяет сравнивать модели независимо от выбранного порога.

Пример:

from sklearn.metrics import roc_auc_score, accuracy_score

y_true = [0, 1, 0, 1]  
y_pred_proba = [0.1, 0.9, 0.4, 0.6]  

# ROC-AUC учитывает вероятности  
print(roc_auc_score(y_true, y_pred_proba))  # 1.0  

# Accuracy требует бинарных предсказаний  
print(accuracy_score(y_true, [0, 1, 0, 1]))  # 1.0  

AUC показывает, насколько хорошо модель разделяет классы, а accuracy может вводить в заблуждение, если классы несбалансированы.