По каким метрикам можно определить эффективность работы рекомендательной системы

Для оценки рекомендательных систем используют несколько метрик, в зависимости от задачи:

1. Точность (Precision@K) — доля релевантных рекомендаций среди топ-K.
2. Полнота (Recall@K) — доль релевантных рекомендаций, попавших в топ-K.
3. F1-score (F1@K) — гармоническое среднее Precision и Recall.
4. MAP (Mean Average Precision) — средняя точность по всем пользователям.
5. NDCG (Normalized Discounted Cumulative Gain) — учитывает порядок рекомендаций.
6. RMSE/MAE — для рейтинговых систем (ошибки предсказания).

Пример кода для Precision@K:

from sklearn.metrics import precision_score

# y_true — истинные релевантные элементы, y_pred — рекомендации
precision = precision_score(y_true, y_pred, average='micro', k=5)

Выбор метрик зависит от бизнес-целей: если важны топовые рекомендации — Precision@K, если охват — Recall@K.