Какие плюсы и минусы классических метрик

Плюсы классических метрик (Accuracy, Precision, Recall, F1, ROC-AUC):

• Интерпретируемость – легко объяснить бизнесу (например, Accuracy = 80% правильно предсказанных случаев).
• Вычислительная простота – быстро считаются даже на больших данных.
• Стандартизация – общеприняты, позволяют сравнивать модели.

Минусы:

• Не учитывают дисбаланс классов (Accuracy бесполезна при 99:1 соотношении классов).
• Чувствительность к порогу (Precision/Recall зависят от выбранного threshold).
• Игнорируют стоимость ошибок (False Negative дороже False Positive в медицине).

Пример для дисбаланса:

from sklearn.metrics import classification_report
y_true = [0, 0, 1, 0, 0]  # 80% класса 0
y_pred = [0, 0, 0, 0, 0]  # Всегда предсказываем 0
print(classification_report(y_true, y_pred))  # Accuracy = 0.8, но Recall=0 для класса 1

Вывод: Выбор метрики зависит от задачи. Для дисбаланса – F1/ROC-AUC, для стоимостей ошибок – кастомные метрики.