Как проводил A/B тесты на последнем проекте

Для A/B тестов использовал следующий подход:

1. Гипотеза: четко формулировал гипотезу и метрики (например, CTR баннера)
2. Сплитование: равномерное разделение трафика (50/50) с проверкой баланса групп
3. Статзначимость: рассчитывал размер выборки через power analysis (statsmodels) и проверял p-value (<0.05)

Пример кода анализа:

from scipy import stats

# Данные контрольной и тестовой групп
control = [0.12, 0.15, 0.11]  # CTR контроль
variant = [0.18, 0.17, 0.19]   # CTR тест

t_stat, p_val = stats.ttest_ind(control, variant)
print(f"p-value: {p_val:.4f}")  # p-value: 0.0023 - эффект значим

Нюансы:

• Проверял SRM (Sample Ratio Mismatch)
• Учитывал сезонность и внешние факторы
• Для последовательного тестирования использовал поправку Бонферрони