Какие метрики можно применить на разбалансированных классах

Для разбалансированных классов лучше использовать метрики, которые учитывают дисбаланс:

• Precision, Recall, F1-score – оценивают качество модели для каждого класса отдельно. F1-score особенно полезен, так как балансирует precision и recall.
• ROC-AUC – показывает способность модели различать классы, устойчив к дисбалансу.
• PR-AUC (Precision-Recall AUC) – более информативен при сильном дисбалансе, чем ROC-AUC.
• Cohen’s Kappa – учитывает случайное угадывание, полезен при дисбалансе.
• Matthews Correlation Coefficient (MCC) – хорош для бинарной классификации, учитывает все элементы матрицы ошибок.

Пример расчета F1-score в sklearn:

from sklearn.metrics import classification_report
y_true = [0, 1, 0, 0, 1, 1]
y_pred = [0, 1, 0, 1, 0, 1]
print(classification_report(y_true, y_pred))