Какие знаешь способы ускорения A/B-тестов

1. Увеличение размера выборки – чем больше данных, тем быстрее достигается статистическая значимость.
2. Повышение эффекта (MDE) – тестируйте более заметные изменения, чтобы быстрее увидеть разницу.
3. Стратификация (блокировка) – группировка пользователей по ключевым признакам (например, гео) для уменьшения дисперсии.
4. CUPED (Controlled-experiment Using Pre-Experiment Data) – использование предэкспериментальных данных для уменьшения шума.

Пример CUPED в Python:

import statsmodels.api as sm
# Предэкспериментальные метрики (pre) и постэкспериментальные (post)
model = sm.OLS(post, sm.add_constant(pre)).fit()
adjusted_metric = post - model.params[1] * pre

5. Последовательный анализ – проверка результатов по мере поступления данных (например, методом SPRT).
6. Оптимизация метрик – выбор менее шумных метрик (например, конверсия вместо среднего чека).