Как работает ROC-AUC

ROC-AUC (Receiver Operating Characteristic - Area Under Curve) — метрика, оценивающая качество бинарной классификации. Она показывает, насколько модель способна разделять классы, сравнивая соотношение True Positive Rate (TPR) и False Positive Rate (FPR) при разных порогах классификации.

Как работает:

1. ROC-кривая строится, варьируя порог от 0 до 1.
2. Для каждого порога вычисляются TPR (чувствительность) и FPR (1 - специфичность).
3. AUC — площадь под ROC-кривой. Чем ближе к 1, тем лучше модель.

Пример кода:

from sklearn.metrics import roc_auc_score, roc_curve
import matplotlib.pyplot as plt

y_true = [0, 1, 1, 0, 1]
y_scores = [0.1, 0.4, 0.35, 0.8, 0.2]

fpr, tpr, _ = roc_curve(y_true, y_scores)
auc = roc_auc_score(y_true, y_scores)

plt.plot(fpr, tpr, label=f'AUC={auc:.2f}')
plt.xlabel('FPR')
plt.ylabel('TPR')
plt.legend()
plt.show()