В чем разница между F мерой и ROC AUC

F-мера (F1-score) — это гармоническое среднее precision и recall, оптимально для несбалансированных классов. Она оценивает качество бинарной классификации в конкретной точке (например, при threshold=0.5).

ROC AUC — это площадь под кривой ROC, которая показывает способность модели разделять классы при всех возможных порогах. Чем ближе к 1, тем лучше модель различает классы.

Ключевые отличия:

• F1 зависит от выбранного порога, ROC AUC — нет.
• F1 чувствительна к дисбалансу классов, ROC AUC более устойчива.
• F1 полезна, когда важны и precision, и recall (например, в медицине), ROC AUC — для общей оценки модели.

Пример:

from sklearn.metrics import f1_score, roc_auc_score
y_true = [0, 1, 1, 0]
y_pred = [0.1, 0.9, 0.8, 0.3]  # вероятности
f1 = f1_score(y_true, y_pred > 0.5)  # F1 при threshold=0.5
roc_auc = roc_auc_score(y_true, y_pred)  # ROC AUC