Равномерное p-value при верности H0

Начнем с того, что p-value это площадь под фигурой, нашим колоколом:

Второе, мы можем поделить наш колокол на 20 интервалов, каждый из который содержит одинаковое кол-во площади:

Закрасим одним цветом интервалы одинакового размера:

Оказывается, два желтых кусочка (интервал слева и справа от среднего), где p-value от 0.9 до 1, содержит столько же площади, сколько и два темно-сиреневых (и в этом на самом деле и есть ответ), где p-value от 0 до 0.1.

Далее сопоставим эти области с равномерным распределением p-value при верности H0:

А теперь нагенерируем около 50 точек, то есть 50 A/A тестов:

Обратите внимание, хотя точки в желтой зоне (центре) лежат визуально плотнее, сама эта зона в разы уже, чем сиреневая. И на самом деле точек в сиреневой областях столько же, сколько и в желтой (при A/A это буквально так и было бы, но тогда не было бы наглядно): а значит и p-value’s от 0 до 0.1 и 0.9 до 1 по частоте одинаковое.

Вот, собственно и ответ :)

Хотите понимать интуитивно больше? Welcome to the course!

P.S. Можно доказать, конечно, формально. Равномерность p-value означает, что кумулятивное распределение p-value это функция вида y=x:

Тогда (что нам и надо доказать):

Для наглядности посмотрим на одностороннее p-value при z=0.5 на графике плотности вероятности, =0.309:

Теперь рассчитаем его же через кумулятивное распределение, F(Z=0.5):

Обратите внимание F(Z=0.5) дает 0.691, тогда чтоб получить p-value, надо из 1 вычесть 0.691:

Тогда:

Применим обратную функцию справа:

Из-за того, что:

Мы сможем вытащить Z:

Чуть выше в контексте p-value вспоминали особенность кумулятивного распределения:

z (малая) у нас это F^{-1}(1-x), тогда:

Ну и снова:

Готово.