Как не ошибаться

Глава девятая
Международный журнал Гаруспиции

Вот притча, которую я узнал от статистика по имени Козма Шализи
{120}

. Представьте, что вы гаруспик, то есть человек, который предсказывает будущие события по внутренностям принесенных в жертву овец, особенно тщательно подвергается анализу их печень. Безусловно, вы не считаете свои предсказания надежными только потому, что придерживаетесь практики, предписанной этрусскими божествами. Это было бы нелепо. Вам нужны доказательства. Поэтому вы и ваши коллеги отправляете материалы своей работы в рецензируемый журнал под названием «Международный журнал гаруспиции
[137]

», чьи правила требуют, чтобы все без исключения опубликованные результаты прошли проверку на статистическую значимость.

Гаруспиция, особенно научно обоснованная, подкрепленная фактами, – не слишком легкое занятие. Во-первых, вы проводите много времени, пачкаясь в крови и желчи. Во-вторых, многие из ваших экспериментов не дают требуемых результатов. Вы пытаетесь использовать внутренности овцы для того, чтобы предсказать цену акций Apple, – и терпите неудачу; пытаетесь смоделировать долю голосов, которые отдадут за демократов выходцы из Латинской Америки, – и получаете неверный результат; пытаетесь оценить глобальный уровень предложения нефти – и снова терпите неудачу. Боги весьма своенравны, поэтому не всегда можно точно определить, какое расположение внутренних органов и какие именно заклинания позволят достоверно раскрыть будущее. Иногда разные гаруспики проводят один и тот же эксперимент, который одному обеспечивает нужный результат, а другому нет – кто знает, почему? Все это приводит в уныние. Порой вам хочется все бросить и поступить в юридическую школу.

Однако занятие гаруспицией того стоит – благодаря тем моментам открытия, когда все работает, и вы видите, что текстура и выступы на печени действительно предсказывают тяжелую эпидемию гриппа следующей зимой. И вы, молча поблагодарив богов, публикуете результаты своей работы.
Возможно, вы обнаружите, что это происходит в одном случае из двадцати.

При любых условиях именно на это рассчитывал бы я сам. Поскольку, в отличие от вас, я не верю в гаруспицию. Я считаю, что внутренности овцы ничего не знают о гриппе, а когда данные совпадают, это просто дело случая. Иначе говоря, во всем, касающемся гадания на внутренностях животных, я сторонник нулевой гипотезы. Поэтому в моем мире успешное завершение любого эксперимента с гаруспицией весьма маловероятно.

Насколько маловероятно? Стандартный порог статистической значимости, а значит, и критерий для публикации статьи в «Международном журнале гаруспиции» по соглашению установлен в виде
p
-значения, равного 0,05, или 1 из 20. Вспомните определение
p

-значения, которое состоит в том, что, если нулевая гипотеза истинна в случае определенного эксперимента, вероятность того, что этот эксперимент все-таки приведет к получению статистически значимого результата, составляет всего 1 из 20. Если нулевая гипотеза всегда истинна (другими словами, если гаруспиция – это надувательство в чистом виде), тогда результаты только одного из двадцати экспериментов могут быть опубликованными.

Тем не менее существуют сотни гаруспиков и тысячи овец со вспоротыми животами; при этом даже одна двадцатая предсказаний дает достаточно материала для заполнения каждого выпуска журнала новыми результатами, демонстрирующими эффективность этой методики и мудрость богов. Протокол эксперимента, который в одном случае сработал и публикуется в журнале, как правило, не дает нужных результатов, когда его пытается применить другой гаруспик. Однако материалы о проведении экспериментов, не обеспечивших статистически значимые результаты, не публикуются, поэтому никто так и не узнает о неудачных попытках воспроизвести этот эксперимент. И даже если начинают распространяться слухи, всегда есть мелкие различия, на которые могут указать эксперты, чтобы объяснить, почему последующие исследования завершились неудачей. В конце концов, мы ведь

знаем
, что протокол работает, поскольку проверили его и определили, что он обеспечивает статистически значимые результаты!
Современная медицина и социология – отнюдь не гаруспиция. Тем не менее в последние годы многие ученые все громче бьют тревогу: возможно, в науке гораздо больше данных, полученных в духе гадания на внутренностях животных, чем нам хотелось бы признавать.

Громче всех заявил об этом Джон Иоаннидис; в средней школе, в Греции, он блистал как математик, но впоследствии занялся медико-биологическими исследованиями. В 2005 году Иоаннидис опубликовал статью Why Most Published Research Findings Are False («Почему большинство публикуемых открытий оказываются ошибочными»)
{121}

, вызвавшую в медицинской среде волну жесткой самокритики, а затем вторую волну самозащиты. Мы знаем работы, привлекающие к себе внимание скорее своими сенсационными заголовками, а не собственно содержанием, – но только не в данном случае. Иоаннидис весьма серьезно подходит к идее о том, что целые области медицинских исследований относятся к категории «нулевых областей» (такие как гаруспиция), в которых просто нет фактического воздействия, поддающегося обнаружению. «Можно доказать, что выводы самых востребованных исследований являются ошибочными», – пишет Иоаннидис.

«Доказать» – это несколько больше, чем я готов принять, однако Иоаннидис все же приводит веские доводы в пользу того, что его радикальное утверждение нельзя назвать неправдоподобным. Вот в чем суть истории. В медицине большинство случаев вмешательства, которое мы предпринимаем, не обеспечивает требуемых результатов, а большинство связей, которые мы пытаемся обнаружить, отсутствуют. Возьмем хотя бы связь генов с заболеваниями: геном содержит множество генов, и большинство из них не вызывают рака, или депрессии, или ожирения, или любого другого прямого воздействия, которое можно было бы распознать. Иоаннидис предлагает нам проанализировать случай влияния генов на шизофрению. Такое влияние почти наверняка существует, учитывая, что нам известно о наследственности этого расстройства. Но где находится источник самого влияния в геноме? Исследователи могут забросить большую сеть (ведь сейчас Эпоха Больших Данных) и проанализировать сотни тысяч генов (точнее говоря, генетических полиморфизмов

[138]
), чтобы выяснить, какие гены связаны с шизофренией. Иоаннидис считает, что около десяти генов действительно могут оказывать клинически значимое воздействие на возникновение этой болезни.
А как насчет оставшихся 99 990 полиморфизмов? Они не имеют никакого отношения к шизофрении. Тем не менее один из двадцати полиморфизмов, или около пяти тысяч, могут пройти проверку статистической значимости, превысив
p

-значение. Другими словами, среди результатов типа «Боже мой, я нашел ген шизофрении», которые могут быть опубликованы,
в пятьсот раз больше
фиктивных, чем реальных.

И все это при условии, что тест пройдут все гены, действительно оказывающие воздействие на возникновение шизофрении! Как мы видели в случаях с Шекспиром и баскетболом, реальное воздействие вполне может быть отброшено как статистически незначимое, если исследование недостаточно мощное, чтобы это воздействие обнаружить. Если исследования недостаточно мощные, полиморфизмы, которые действительно имеют отношение к данной болезни, могут пройти проверку значимости только в половине случаев, однако это означает, что из всех полиморфизмов, влияние которых на шизофрению подтверждено

p
-значением, только
пять
действительно оказывают такое воздействие, в отличие от пяти тысяч претендентов, прошедших проверку значимости совершенно случайно.
Хороший способ отследить соответствующие величины сводится к тому, чтобы нарисовать круги в клетках матрицы.

Размер каждого круга отображает количество генов в каждой категории. В левой части матрицы находятся отрицательные результаты, или полиморфизмы, которые не прошли проверку значимости, а в правой части – положительные результаты. Две верхние клетки матрицы содержат крохотное множество полиморфизмов, которые действительно связаны с шизофренией: полиморфизмы в правой верхней клетке представляют собой истинные положительные результаты (гены, связанные с шизофренией, и тест подтверждает это), тогда как в левой верхней клетке расположены ложные отрицательные результаты (полиморфизмы, связанные с шизофренией, но тест говорит о том, что это не так). В нижней части матрицы находятся полиморфизмы, не связанные с этим заболеванием: истинные отрицательные результаты представлены большим кругом в нижней левой клетке, а ложные положительные результаты – кружком в нижней правой клетке.

На этом рисунке вы можете увидеть, что сама проверка статистической значимости не является проблемой: тест выполняет именно ту работу, для которой он создан. Полиморфизмы, не имеющие никакого отношения к шизофрении, редко проходят эту проверку, тогда как полиморфизмы, действительно нас интересующие, проходят проверку в половине случаев. Однако неактивные полиморфизмы имеют большое количественное преимущество, и хотя круг ложных положительных результатов достаточно мал по сравнению с истинными отрицательными результатами, он все-таки гораздо больше круга истинных положительных результатов.

Все материалы, размещенные в боте и канале, получены из открытых источников сети Интернет, либо присланы пользователями  бота. 
Все права на тексты книг принадлежат их авторам и владельцам. Тексты книг предоставлены исключительно для ознакомления. Администрация бота не несет ответственности за материалы, расположенные здесь