Как провести A/B-тест для оценки модели кредитного скоринга

Для A/B-теста кредитного скоринга разделите клиентов на две случайные группы: A (контрольная, текущая модель) и B (новая модель). Убедитесь, что распределение признаков (доход, кредитная история и т.д.) схоже.

Метрики:

• Основная: процент дефолтов (bad rate)
• Дополнительные: approval rate, ROC-AUC, F1-score

Пример кода для проверки значимости разницы в дефолтах:

from scipy.stats import chi2_contingency

# Данные: дефолты в группах A и B
defaults_A = 120  # дефолты в группе A
total_A = 10000   # всего заявок в A
defaults_B = 90   # дефолты в группе B
total_B = 10000   # всего заявок в B

# Таблица сопряженности
contingency_table = [[defaults_A, total_A - defaults_A],
                     [defaults_B, total_B - defaults_B]]

chi2, p_value, _, _ = chi2_contingency(contingency_table)
print(f"p-value: {p_value:.4f}")  # если p-value < 0.05, разница значима

Важно:

• Минимальный размер выборки (power analysis)
• Корректировка на множественные сравнения (Bonferroni)
• Мониторинг побочных эффектов (например, снижение approval rate)