Встречается на 5% собеседований по AI Engineer

Зависит ли ROC AUC от распределения классов

ROC AUC (Area Under the Receiver Operating Characteristic Curve) не зависит от распределения классов, так как оценивает способность модели ранжировать положительные примеры выше отрицательных, а не предсказывать абсолютные вероятности. Однако, если дисбаланс классов очень сильный, ROC AUC может казаться завышенной из-за большого количества true negatives.

Пример:

python

from sklearn.metrics import roc_auc_score
import numpy as np

# Сбалансированные классы
y_true_balanced = np.array([0, 1, 0, 1])
y_pred_balanced = np.array([0.1, 0.9, 0.4, 0.6])
print(roc_auc_score(y_true_balanced, y_pred_balanced))  # 1.0

# Дисбалансные классы (90% negative)
y_true_imbalanced = np.array([0, 0, 0, 0, 0, 0, 0, 0, 0, 1])
y_pred_imbalanced = np.array([0.1]*9 + [0.9])
print(roc_auc_score(y_true_imbalanced, y_pred_imbalanced))  # 1.0

Следующий вопрос

Это единственный вопрос по вашему фильтру

Зависит ли ROC AUC от распределения классов

Следующий вопрос

Похожие вопросы