Что такое p-value

P-value — это вероятность получить наблюдаемые или более экстремальные результаты при условии, что нулевая гипотеза верна. Чем меньше p-value, тем сильнее свидетельство против нулевой гипотезы. Обычно его сравнивают с уровнем значимости (α, например 0.05): если p-value < α, нулевую гипотезу отвергают.

Как это работает

P-value — это не вероятность того, что нулевая гипотеза верна или ложна. Это условная вероятность, рассчитанная в предположении, что нулевая гипотеза истинна. Она показывает, насколько наблюдаемые данные не согласуются с нулевой гипотезой: чем меньше p-value, тем менее правдоподобны данные при нулевой гипотезе.

Процесс проверки гипотезы:

1. Формулируют нулевую гипотезу (H₀) и альтернативную (H₁).
2. Выбирают уровень значимости α — допустимую вероятность ошибки первого рода (отвергнуть верную H₀).
3. Вычисляют тестовую статистику и соответствующее p-value.
4. Сравнивают p-value с α. Если p-value ≤ α, H₀ отвергают, иначе — не отвергают.

Пример

Проверим, отличается ли среднее выборки от 1.0, используя одновыборочный t-тест в Python:

from scipy import stats

data = [1.2, 1.5, 1.7, 2.0, 2.1]
t_stat, p_val = stats.ttest_1samp(data, popmean=1.0)
print(f"p-value: {p_val:.4f}")  # p-value: 0.0035

Здесь p-value = 0.0035 < 0.05, поэтому нулевую гипотезу о том, что среднее равно 1.0, отвергаем. Это означает, что данные дают сильные свидетельства против H₀.

Подводные камни

• P-value не равен вероятности ошибки. Он не говорит, что с вероятностью 5% мы ошибаемся, отвергая H₀. Ошибка первого рода контролируется уровнем α, а не p-value.
• P-value зависит от размера выборки. При больших выборках даже незначительные отклонения от H₀ дают маленькие p-value. Поэтому всегда оценивайте величину эффекта (effect size), а не только p-value.
• Нельзя интерпретировать p-value как «вероятность, что H₀ верна». Это частая ошибка. P-value — вероятность данных при условии H₀, а не вероятность H₀ при данных.
• Порог 0.05 — не магический. Он выбран по соглашению. В некоторых областях (например, физика) используют 0.01 или строже, а в разведочном анализе — 0.1.

Когда использовать

P-value — стандартный инструмент в проверке статистических гипотез: сравнение средних, корреляций, регрессионных коэффициентов, тестов на нормальность и т.д. Он уместен, когда нужно принять бинарное решение (отвергнуть или не отвергнуть H₀) на основе данных. Однако для оценки практической значимости результата всегда дополняйте p-value доверительными интервалами и мерами эффекта.

Коротко

• P-value — вероятность получить наблюдаемые или более экстремальные данные при условии, что нулевая гипотеза верна.
• Если p-value < α (обычно 0.05), нулевую гипотезу отвергают.
• P-value не является вероятностью ошибки или вероятностью истинности H₀.
• Всегда учитывайте размер выборки и величину эффекта при интерпретации.