Какую метрику выбрать для оценки работы бинарного классификатора с распределением 95% положительных и 5% отрицательных классов

Для несбалансированных данных (95% vs 5%) accuracy бесполезна — классификатор может достичь 95%, просто предсказывая всегда положительный класс. Лучшие варианты:

1. F1-score — баланс между precision и recall, особенно если важны оба типа ошибок (FP и FN).
2. Precision-Recall AUC — лучше ROC-AUC при сильном дисбалансе, так как не учитывает истинные отрицания.
3. Average Precision (AP) — интегральная метрика под PR-кривой.

Пример расчёта F1 в sklearn:

from sklearn.metrics import f1_score
f1 = f1_score(y_true, y_pred)