Мозгоускорители

11. Эх!кономика

Запрашивают ли продавцы автосалонов большую цену с покупательниц-женщин, чем с мужчин?
Влияет ли размер аудитории на качество обучения?
Полезны ли мультивитамины?
Объективен ли работодатель к кандидатам, которые долгое время были безработными, или предубежден потому, что они длительное время не были ничем заняты?
Надо ли женщинам постклимактерического возраста принимать гормональные препараты, чтобы снизить риск заболеваний сердечно-сосудистой системы?

На эти вопросы давали множество ответов. Некоторые из них опирались на исследования, результаты которых были неверны из-за ошибочной методики. Некоторые были в общем-то правильными, потому что использованные научные методы были верны.
Эта глава объясняет три главных пункта, которые исключительно важны для понимания научных открытий и ответа на вопрос, стоит ли им доверять.

1. Исследования, которые для доказательства научного факта опираются на корреляции, могут оказаться безнадежно ошибочными — даже когда эти корреляции предстают в упаковке «анализа множественной регрессии», который «контролирует» множество переменных.

2. Эксперименты, в которых людей (или любые другие объекты) в случайном порядке распределяют по группам, на которых сравнивают разные способы воздействия (или воздействие и его отсутствие), в целом намного точнее исследований, основанные на анализе множественной регрессии.
3. Наши предположения, касающиеся человеческого поведения, так часто ошибочны, что если вообще возможно проверить какую-нибудь важную гипотезу о поведении, то нужно в обязательном порядке проводить эксперимент.

Анализ множественной регрессии
Все вопросы, которые прозвучали в начале этой главы, спрашивали об одном: может ли некая независимая переменная (она же предиктор — представляющая собой исходные данные или предполагаемую причину) влиять на зависимую или результирующую переменную — то есть на конечный результат или достигнутый эффект. Эксперименты задают разные значения независимым переменным; корреляционный анализ же просто измеряет их.

Один из методов, использующий корреляционный анализ, это анализ множественной регрессии (АМР), в котором некоторое количество независимых переменных коррелирует одновременно (иногда последовательно, но мы не будем обсуждать этот вариант АМР) с некоторым количеством зависимых переменных
[147]

. Интересующая нас независимая переменная (предиктор) изучается наряду с другими независимыми переменными, которые называются контрольными переменными. Цель — показать, что переменная А влияет на переменную Б, за вычетом суммарного влияния других переменных. Другими словами, взаимосвязь остается, даже когда принимается во внимание влияние контрольных переменных на зависимые переменные.

Рассмотрим следующий пример. Курение коррелирует с повышенной вероятностью заболеваний сердечно-сосудистой системы. Хочется сказать, что курение является причиной заболеваний сердечно-сосудистой системы. Но проблема в том, что и с курением, и с этими заболеваниями коррелирует множество других переменных, таких как возраст, социальное положение и избыточный вес. Курильщики в возрасте курят дольше, чем курильщики молодые, поэтому из корреляции «курение — болезнь» нужно исключить влияние возраста, иначе результат будет говорить о том, что с заболеваниями сердечно-сосудистой системы связано объединение двух переменных — возраста и курения. А мы хотим знать, есть ли связь между курением и сердечно-сосудистыми заболеваниями, независимо от того, сколько человеку лет. Для этого мы «контролируем» влияние возраста на вероятность заболевания, исключая корреляцию «возраст — болезнь» из корреляции «курение — болезнь». В результате мы сможем сказать, что связь между курением и сердечно-сосудистыми заболеваниями установлена для каждой возрастной группы.

ТУ же самую логику можно применить и к социальному статусу. При прочих равных составляющих, чем ниже ступенька социальной лестницы, тем выше вероятность, что занимающий ее человек будет курить и чем ниже социальный статус, тем выше риск сердечных заболеваний, независимо от других факторов риска, таких как курение. Так же обстоит дело с избыточным весом. И так далее. Корреляции этих переменных как с курением, так и с риском заболеваний нужно исключать из корреляции между курением и сердечно-сосудистыми заболеваниями.

Теоретический аспект анализа множественной регрессии состоит в том, что если вы контролируете всё, что связано с независимой переменной и зависимой переменной, выделив из общего сочетания именно эти корреляции, то вы можете обнаружить истинную причинно-следственную связь между предсказывающей и результирующей переменными. Это в теории. На практике множество факторов мешают устойчиво получать этот результат.

Во-первых, как определить, что мы установили все возможные искажающие факторы — переменные, связанные и с предсказывающей, и с результирующей переменной? Почти никогда нельзя утверждать это наверняка. Мы можем только измерить то, что кажется нам важным, и проигнорировать бесконечное число переменных, которые кажутся нам неважными. Но ПООН: Предположения Обычно Оказываются Неверными. Поэтому, как правило, мы терпим поражение в этой игре.

Во-вторых, насколько точно мы измеряем каждую возможную искажающую переменную? Если мы измерили ее неточно, это значит, что мы недостаточно проконтролировали ее действие. Если мы измерили ее настолько неточно, что она не валидна, значит, мы не проконтролировали вообще ничего.

Иногда анализ множественной регрессии — единственный доступный способ исследовать важные и интересные вопросы. Например, вопрос о том, связана ли религиозность и соблюдение обрядов с уровнем воспроизведения потомства. Мы не можем провести эксперимент для изучения этого вопроса, случайным образом назначив, кому из участников эксперимента быть религиозным, а кому нет. Мы можем использовать только корреляционные методы, такие как АМР. Между прочим, религиозность коррелирует с уровнем воспроизведения потомства как на индивидуальном, так и на государственном и культурном уровне. При условии контролирования факторов дохода, возраста, состояния здоровья и других факторов на индивидуальном уровне, на уровне этнических групп и на уровне государств корреляция такова, что чем выше религиозность, тем выше уровень воспроизведения потомства. Мы не знаем, почему именно это так, и корреляция между религиозностью и плодовитостью может быть не причинно-следственной связью, а, скорее, следствием какой-либо иной, третьей, неизвестной переменной, которая влияет как на религиозность, так и на уровень воспроизведения потомства. Может быть, причинно-следственная связь здесь вообще работает в обратном направлении: люди, у которых много детей, начинают искать поддержку в религии! Тем не менее данное корреляционное открытие интересно само по себе и может привести к реальным практическим последствиям.

Я хотел бы окончательно прояснить суть дела: корреляционные исследования и исследования множественной регрессии далеко не всегда бесполезны. Я сам часто использую принцип множественной регрессии, когда провожу эксперименты по установлению причинно-следственной связи. Я чувствую себя более уверенно, когда знаю, что данная взаимосвязь существует в естественных условиях, а не только в лаборатории или совершенно нетипичной окружающей среде.

Более того, всегда можно придумать уловки, которые убедят нас, что мы что-то узнали о причинно-следственной связи. Возьмем корреляцию между благосостоянием государств и уровнем IQ населения. Что здесь причина, а что следствие? Сама по себе данная корреляция весьма проблематична. Как благосостояние, так и IQ связаны с множеством других факторов — например, с физическим здоровьем. «Здоров, богат и умен» — это не просто бытовое представление о завидном женихе; эти три фактора тесно связаны между собой целым набором корреляций, включающих в себя множество переменных, которые потенциально могут быть причинами или следствиями того или иного фактора. Кроме того, причинно-следственная связь здесь весьма правдоподобно работает в обоих направлениях. По мере того как население страны развивается умственно, оно становится богаче вследствие того, что людям становится доступны более прогрессивные и высокоорганизованные способы достижения благосостояния. А по мере того, как население становится богаче, оно развивается умственно, потому что благосостояние в целом способствует повышению качества образования.

Но иногда мы можем придумать неплохую историю о причинно-следственной связи, наблюдая так называемую запаздывающую корреляцию, что означает проявляющуюся позже корреляцию независимой перемен-нои (предполагаемой причиной) с другой переменной (предполагаемым результатом). Если население страны становится умнее — например, из-за повышения качества образования — будет ли оно в дальнейшем также и богатеть? Конечно, будет. Например, несколько десятилетий назад в Ирландии была предпринята хорошо организованная и очень успешная попытка по улучшению образовательной системы, особенно в старших классах средней школы, профессиональных училищах и колледжах

[148]
. За короткое время в стране на 50% выросло число поступающих в колледжи
[149]

. Примерно за 30 лет уровень ВВП на душу населения в Ирландии, где результаты замера уровня IQ были намного ниже, чем в Англии (некоторые английские психологи объясняли это генетическими факторами!), превысил уровень ВВП на душу населения в Англии. В Финляндии тоже произошли серьезные положительные сдвиги в сфере образования, начатые несколько десятилетий назад и направленные в основном на то, чтобы студенты из бедных семей получали такое же качественное образование, как и студены из богатых семей. К 2010 г. Финляндия вышла на первое место в мире по результатам международных академических тестирований, при этом по доходу на душу населения финны обошли японцев и англичан, немного уступив американцам. В тех странах, которые, как и США, в последние десятилетия не предпринимали столь героических усилий по улучшению образования, уровень дохода на душу населения снизился относительно других развитых стран. Эти данные являются чисто корреляционными, но они показывают, что, когда государство начинает серьезно заботиться об улучшении уровня образования, это приводит и к улучшению благосостояния. Когда же уровень образования стагнирует, государство начинает отставать от других стран по уровню благосостояния. Звучит вполне убедительно.

Бывают и другие обстоятельства, которые могут придать корреляционному исследованию такой уровень убедительности, что его можно поставить в один ряд с естественными экспериментами и даже с рандомизированными контрольными экспериментами. Например, широкая распространенность эффекта иногда может заставить нас предположить, что это не просто следствие корреляции переменных. Мы также можем быть более уверены, что данный метод приносит результат, если его эффект «зависит от дозировки». То есть чем интенсивнее и чаще применяется данный метод, тем выше уровень отдачи. Например, вероятность сердечно-сосудистых заболеваний у людей, которые выкуривают две пачки сигарет в день, выше, чем у выкуривающих несколько сигарет. Таким образом, это скорее показывает, что курение действительно ухудшает состояние сердечно-сосудистой системы, чем то, что употребление сигарет никак не связано с заболеваемостью.

Проблемы анализа множественной регрессии связаны с тем, что его проводят слишком часто. Я собираюсь рассказать об этой проблеме максимально честно, потому что СМИ постоянно сообщают об открытиях, сделанных с помощью этого весьма ненадежного метода, а на основе этих открытий принимаются важные решения, касающиеся всего общества. Все эпидемиологи, ученые-медики, социологи, психологи и экономисты используют этот метод. А он может привести к серьезнейшим ошибкам, и утверждения приверженцев, что он может раскрыть причинно-следственную связь, обычно притянуты за уши.

Известно много примеров, когда АМР говорил о наличии причинно-следственной связи одно, а рандомизированный контрольный эксперимент — совершенно другое. В таких случаях следует верить результатам экспериментов.

Влияет ли, на ваш взгляд, количество учеников в классе на их успеваемость? Кажется весьма резонным предположить, что да, хотя десятки исследований, основанных на АМР и проведенных уважаемыми учеными, утверждают, что (за вычетом влияния среднего дохода семей в том районе, где находится школа, размера школы, результатов прохождения IQ-тестов, размера города и его географического положения) среднее количество учеников в классе никак не коррелирует с успеваемостью ученика
[150]

. Отсюда вывод: теперь мы знаем, что не нужно тратить деньги на уменьшение количества учеников в классе.

Однако исследователи из Теннесси провели рандомизированный эксперимент, в который они включили классы разной величины. Подбросив монетку, ученые распределили детей из детского сада по маленьким (от 13 до 17 детей) либо большим (от 20 до 25 детей) группам. Исследование показало улучшение результата стандартного тестирования примерно на 0,22 СО; при этом более явное улучшение результатов было заметно у чернокожих детей
[151]
.

В настоящее время у ученых есть результаты еще трех экспериментальных исследований эффекта уменьшения количества учеников в классе, и все они показали почти тот же самый результат, что исследование в Теннесси
[152]
. Эти четыре эксперимента не дополняют исследования влияния количества учеников на успеваемость. Они замещают все проведенные ранее исследования, основанные на анализе множественной регрессии. Потому что экспериментальные результаты заслуживают гораздо больше доверия.

Почему же анализ множественной регрессии показал, что количество учеников в классе практически не имеет значения? Я не знаю, но нам необязательно знать это, чтобы составить твердое мнение о том, имеет ли значение размер класса.

Конечно, все эти четыре эксперимента оставляют открытыми множество вопросов. Мы не знаем, одинаково ли значимо количество учеников в классе для разных регионов, городов и сел, социальных слоев и т.д. Мы не знаем, что именно из всего, что происходит в классе, оказывает разный результат на учебу. Дальнейшие эксперименты, возможно, помогут нам ответить на эти вопросы и укрепят нашу уверенность в том, что количество учеников в классе имеет значение для успеваемости.

Насколько целесообразно тратить дополнительные деньги на уменьшение количества учеников в классах — это уже другой вопрос, и не мне отвечать на него. В Финляндии, где не такие уж маленькие классы в школах, улучшение качества образования стало в основном результатом того, что учителям повысили зарплату и предлагать учительские вакансии стали в основном лучшим студентам, а не самым слабым, как это практикуется в США. В любом случае это нельзя определить, просто вычислив благоприятный эффект воздействия переменной X на переменную Y; здесь требуется полный анализ эффективности затрат.

Еще одна проблема корреляционных исследований, подобных АМР, состоит в том, что им по определению свойственны ошибки, связанные с самоотбором. Случаи — люди, классы, сельскохозяйственные участки — отличаются друг от друга в ряде аспектов. Те, кто курит много лет, не просто курят много лет. Длительное курение означает массу других аспектов, связанных с этим фактом: более старший возраст, более низкое социальное положение, избыточный вес. Класс А больше, чем класс Б, но они еще отличаются и в некоторых других аспектах, которые исследователь никак не может контролировать. В классе А учитель лучше, чем в классе Б, потому что директор посчитал, что именно этот учитель лучше других справится с большим классом. В классе А выше успеваемость, несмотря на большое количество учеников, потому что, по мнению директора, более способные ученики меньше пострадают от относительного недостатка внимания учителя, чем менее способные ученики. И так далее. Эту задачу не удастся решить, просто добавив в эксперимент больше классов или больше контрольных переменных величин.

В тех исследованиях, где случаи распределяются по условиям эксперимента в случайном порядке, разнообразие классов в различных аспектах все равно сохранится. Но что немаловажно, именно экспериментатор выбирает условия. Это означает, что в экспериментальных и контрольных классах должны преподавать примерно одинаково квалифицированные учителя, учиться должны примерно одинаково способные и одинаково мотивированные ученики, учебные ресурсы должны быть примерно одинаковыми. Классы не выбирают себе значения каждой из этих переменных, это делает экспериментатор. Таким образом, единственное, чем должны отличаться экспериментальный и контрольный класс, это исследуемая переменная, то есть размер класса. Такие эксперименты, как эксперимент по определению связи успеваемости с количеством учеников в классе, обычно неубедительны. Учителя и администрация школы всегда прекрасно осведомлены об условиях, в которые поставлены их ученики. Они знают, какие классы маленькие, а какие большие, знают, что это может влиять на качество преподавания, а также сколько сил учитель вкладывает в свою работу. Однако эти проблемы меркнут при сравнении с проблемой самоотбора.

Путаница в медицинских исследованиях
Вы знали, что потребление оливкового масла в больших количествах снижает риск инсульта на 41%?
[153]
Вы знали, что если вам сделали операцию по удалению катаракты, то в следующие 15 лет риск того, что вы умрете, на 40% ниже, чем у людей, страдающих от катаракты и не прооперированных?
[154]
Вы знали, что глухота вызывает слабоумие? Вы знали, что подозрительность также вызывает слабоумие?

Эти утверждения не зря могут показаться вам сомнительными. Но так называемые научные открытия, похожие на те, что я привел выше, то и дело появляются в СМИ. Обычно они основаны на эпидемиологических исследованиях. (Эпидемиология — это наука о закономерностях возникновения и распространения заболеваний и их причинах.) Большая часть научных исследований в области эпидемиологии основаны на АМР. В исследованиях, использующих АМР, предпринимаются попытки контролировать такие факторы, как социальное положение, возраст и предшествующее болезни состояние здоровья. Но они не могут обойти проблему самоотбора. Те люди, которые проходят определенный вид лечения, или те, кто употребляет много какого-то продукта, или те, кто принимает или не принимает определенные витамины, — таких отличий невероятно много.

Давайте рассмотрим исследование, утверждающее, что за вычетом контрольных факторов, таких как «социально-демографические показатели, физическая активность, индекс массы тела и факторы риска, влияющие на инсульт», у людей, которые потребляют в пищу больше оливкового масла, реже случается инсульт
[155]

. В одном исследовании говорилось, что риск инсульта у тех, кто употребляет много оливкового масла, на 41% ниже, чем у тех, кто не употребляет его никогда. Но, может быть, вовсе не само по себе потребление оливкового масла снижает смертность, а что-то, что коррелирует с его потреблением. Во-первых, давайте посмотрим на национальность. Американцы итальянского происхождения очень любят оливковое масло, а афроамериканцы его практически не употребляют. А продолжительность жизни американцев итальянского происхождения значительно больше, чем продолжительность жизни афроамериканцев, у которых, кстати говоря, особенно часто случаются инсульты.

Обычно в эпидемиологических исследованиях больше всего сбивает с толку социальное положение исследуемого населения. Социальное положение неизбежно и очевидно влияет на различия, связанные с риском инсульта, а также на состояние здоровья в целом. Богатые люди отличаются от обычных людей. У них больше денег. Люди, у которых больше денег, могут позволить себе постоянно использовать оливковое масло вместо кукурузного. Люди, у которых больше денег, также чаще бывают начитаны, чаще общаются с другими начитанными людьми, а значит, они в курсе того, что оливковое масло полезнее для здоровья, чем его более дешевые заменители. Люди, у которых больше денег, получают более качественное медицинское обслуживание. Уровень жизни людей, у которых больше денег, а также выше социальное положение, качество образования, доход и профессиональный статус, — в целом выше.

Все материалы, размещенные в боте и канале, получены из открытых источников сети Интернет, либо присланы пользователями  бота. 
Все права на тексты книг принадлежат их авторам и владельцам. Тексты книг предоставлены исключительно для ознакомления. Администрация бота не несет ответственности за материалы, расположенные здесь