Какие метрики качества использовались в рабочем ML-проекте

Для задач классификации чаще всего использовал:

• Accuracy (если классы сбалансированы)
• Precision/Recall и F1-score (при дисбалансе классов)
• ROC-AUC (для оценки качества ранжирования)
• LogLoss (для вероятностных предсказаний)

Пример расчета в sklearn:

from sklearn.metrics import f1_score, roc_auc_score
y_true = [0, 1, 0, 1]
y_pred = [0, 1, 1, 0]
print(f"F1: {f1_score(y_true, y_pred)}")
print(f"AUC: {roc_auc_score(y_true, y_pred)}")

Для регрессии:

• MAE (интерпретируемость)
• RMSE (сильная penalзация больших ошибок)
• R² (доля объясненной дисперсии)

Для рекомендательных систем:

• Precision@K, Recall@K
• MAP@K (Mean Average Precision)
• NDCG (учет порядка рекомендаций)

Выбор метрик всегда обосновывал бизнес-требованиями и целями проекта.