В чем разница между метриками классификации

Основные метрики классификации:

Accuracy - доля правильных предсказаний. Простая, но плохо работает при дисбалансе классов.

from sklearn.metrics import accuracy_score
accuracy_score(y_true, y_pred)

Precision - точность положительного класса (TP / (TP + FP)). Важна, когда ложные срабатывания дороги (например, спам).

Recall (полнота) - TP / (TP + FN). Критична, когда пропуск положительных случаев недопустим (медицина).

F1-score - гармоническое среднее precision и recall. Балансирует между ними.

ROC-AUC - площадь под ROC-кривой. Оценивает качество разделения классов независимо от порога.

Log Loss - штрафует за уверенность в неверном предсказании. Чувствительна к вероятностям.

Выбор метрики зависит от задачи. Например, для обнаружения мошенничества важнее recall, а для рекомендаций - precision.