Что такое уровень значимости

Уровень значимости (α) — это вероятность отвергнуть нулевую гипотезу, когда она верна (ошибка I рода). Обычно устанавливается до эксперимента (например, 0.05 или 5%). Чем ниже α, тем строже критерий для отклонения H₀.

Пример в Python:

from scipy import stats

# A/B-тест: средние двух групп
group_a = [25, 30, 28, 35, 40]
group_b = [20, 22, 25, 28, 30]

t_stat, p_value = stats.ttest_ind(group_a, group_b)
alpha = 0.05

if p_value < alpha:
    print("Отвергаем H₀ (различие значимо)")
else:
    print("Не отвергаем H₀")

Выбор α зависит от контекста: в медицине часто используют 0.01, в маркетинге — 0.05.