В чем разница между классическими метриками

Классические метрики (accuracy, precision, recall, F1) оценивают качество модели на несбалансированных данных, но могут вводить в заблуждение. Например, accuracy 90% на датасете с 90% одного класса — плохой индикатор. Precision (точность) — доля верных предсказаний среди положительных, recall (полнота) — доля верно предсказанных положительных. F1 — гармоническое среднее precision и recall.

from sklearn.metrics import precision_score, recall_score, f1_score

y_true = [1, 0, 1, 1, 0]
y_pred = [1, 0, 0, 1, 1]

print(f"Precision: {precision_score(y_true, y_pred)}")  # 0.666
print(f"Recall: {recall_score(y_true, y_pred)}")       # 0.666
print(f"F1: {f1_score(y_true, y_pred)}")               # 0.666

Для несбалансированных данных лучше использовать ROC-AUC или PR-AUC.