Чем ROC-AUC лучше precision

ROC-AUC оценивает качество модели на всех возможных порогах классификации, а precision — только на одном. Это делает ROC-AUC более устойчивой метрикой, особенно при дисбалансе классов. Precision зависит от выбранного порога и может быть misleading, если классы несбалансированы.

Пример:

from sklearn.metrics import roc_auc_score, precision_score

y_true = [0, 0, 1, 1]
y_scores = [0.1, 0.4, 0.35, 0.8]

# ROC-AUC
print(roc_auc_score(y_true, y_scores))  # 0.75

# Precision при пороге 0.5
print(precision_score(y_true, [1 if x > 0.5 else 0 for x in y_scores]))  # 1.0 (но пропускает половину положительных)

ROC-AUC показывает, насколько хорошо модель разделяет классы, независимо от порога. Precision же сильно зависит от выбранного порога и распределения классов.