Что такое статистическая значимость

Статистическая значимость показывает, насколько вероятно, что наблюдаемый эффект или разница между группами не случайны. Обычно оценивается через p-value — вероятность получить такие или более крайние результаты при условии, что нулевая гипотеза верна.

Пример:

from scipy import stats

# A/B тест: конверсии в двух группах
group_a = [1, 0, 1, 1, 0]  # 1 - конверсия, 0 - нет
group_b = [0, 0, 0, 1, 0]

# Тест хи-квадрат
chi2, p_value = stats.chisquare([sum(group_a), sum(group_b)])
print(f"p-value: {p_value:.3f}")  # p-value < 0.05 → значимость

Нюансы:

• p-value < 0.05 (стандартный порог) не доказывает эффект, а лишь указывает на маловероятность случайности.
• Важно учитывать мощность теста, размер эффекта и корректировки для множественных сравнений.
• p-value зависит от объема данных: даже слабый эффект может стать значимым при большом n.