Кто проводил AB тесты в команде

В нашей команде AB-тесты обычно проводит продукт-аналитик или data scientist в тесном сотрудничестве с product manager.

Процесс:

1. Гипотеза – PM предлагает идею для теста.
2. Дизайн – Data Scientist определяет размер выборки, длительность и метрики.
3. Запуск – Разработчики внедряют изменения, аналитик контролирует корректность сплита.
4. Анализ – Data Scientist проверяет статистическую значимость (t-test, chi-square).

Пример кода (Python):

from scipy import stats

# A/B test: conversion rates  
group_a = [1, 0, 1, 1, 0]  # 1 = converted  
group_b = [1, 1, 1, 0, 1]  

t_stat, p_val = stats.ttest_ind(group_a, group_b)  
print(f"P-value: {p_val:.3f}")  # Если p < 0.05 – разница значима  

Важно:

• Рандомизация должна быть чистой (no bias).
• Учитывать сезонность и внешние факторы.
• Проверять SRM (Sample Ratio Mismatch).