Как не ошибаться

Приключения Карла Пирсона в десятом измерении

Трудно переоценить влияние созданной Гальтоном концепции корреляции на тот концептуальный мир, в котором мы сейчас обитаем, – не только в статистике, но и во всех областях научной деятельности. Следует помнить, что корреляция не подразумевает наличия причинно-следственной связи: в понимании Гальтона два явления могут быть коррелированы между собой, даже если одно не приводит к возникновению другого. Само по себе это не было новостью. Безусловно, люди понимали, что родные братья и сестры чаще других пар людей обладают общими физическими характеристиками, но причина не в том, что сестры становятся высокими под влиянием высоких братьев. Тем не менее даже здесь где-то в тени притаилась причинно-следственная связь: высокий рост обоих детей обусловлен генетическим наследием родителей. В постгальтоновском мире стало возможным говорить о связи между двумя переменными, полностью отрицая существование любой конкретной причинно-следственной связи, прямой или косвенной. Порожденная Гальтоном концептуальная революция имеет нечто общее с выводами его знаменитого родственника, Чарльза Дарвина. Дарвин показал, что можно содержательно рассуждать о прогрессе без всякой необходимости упоминать о цели. Гальтон показал, что можно содержательно рассуждать о связи между явлениями без всякой необходимости упоминать о глубинной причине.

Исходное определение корреляции Гальтона было несколько ограниченным, распространяясь только на те переменные, распределение значений которых подчиняется закону нормального распределения, упоминавшемуся в 
главе четвертой
. Однако Карл Пирсон
[274]
быстро адаптировал и обобщил эту концепцию так, чтобы ее можно было применять к любым переменным.

Если я написал бы здесь формулу Пирсона или если вы сами нашли бы ее в других источниках, вы увидели бы кучу квадратных корней и коэффициентов, которые не помогли бы вам понять суть этого вопроса, если только не владеете декартовой геометрией. Однако на самом деле формула Пирсона имеет очень простое геометрическое описание. Со времен Декарта математики пользуются замечательной возможностью переходить от алгебраических к геометрическим описаниям мира и наоборот. Преимущество алгебры состоит в том, что ее легче формализовать и ввести в компьютер. Преимущество геометрии в том, что она позволяет нам использовать свою физическую интуицию применительно к соответствующей ситуации, особенно когда можно нарисовать рисунок. У меня редко бывает такое чувство, что я действительно понял ту или иную математическую концепцию, пока не сформулирую все это на языке геометрии.

Так что же такое корреляция с точки зрения геометра? Давайте рассмотрим это на примере. Посмотрите еще раз на представленные выше таблицы, в которых указана средняя январская температура в десяти городах Калифорнии в 2011–2012 годах. Как мы уже видели, между показателями температуры за 2011 и 2012 год есть сильная положительная корреляция; формула Пирсона дает очень высокое значение корреляции в данном случае – 0,989.

Если нам необходимо изучить связь между показателями температуры за два разных года, изменение каждого элемента таблицы на одну и ту же величину не повлечет за собой никаких последствий. Если температура за 2011 год связана с температурой за 2012 год, эта связь сохранится и с показателями «температура за 2012 год + 5 градусов». Вот еще один способ сформулировать эту идею: если взять точки, изображенные на представленной выше диаграмме, и сдвинуть их на десять сантиметров вверх, это не изменит форму эллипса Гальтона, изменится только его местоположение. Как оказалось, полезно изменить значения температуры на одинаковую величину, причем такую, чтобы среднее значение было равным нулю как в 2011, так и в 2012 году. В итоге мы получим такую таблицу.

Отрицательные числа находятся в строках таблицы, соответствующих холодным городам, таким как Траки, а положительные – в строках городов с более мягким климатом, таких как Сан-Диего.
Хитрость вот в чем. Столбец из десяти чисел, соответствующих значениям температуры в январе 2011 года, – да, это ряд чисел. Но это также и 
точка
. Как такое может быть? Все началось с нашего героя – Декарта. Пару чисел (
x, y
) можно рассматривать как точку на плоскости, которая находится на 
x
единиц направо и 

y
единиц вверх от начала координат. На самом деле мы можем нарисовать небольшую стрелку, указывающую от начала координат к нашей точке (
x, y
); эта стрелка называется «вектор».


Точно так же точку в трехмерном пространстве описывают три координаты (
x, y, z

). И ничто, кроме привычки и малодушного страха не мешает нам пойти еще дальше. Группу из четырех координат можно рассматривать как точку в четырехмерном пространстве, а группу из десяти чисел, как показатели температуры в Калифорнии из нашей таблицы, – это точка в десятимерном пространстве. А теперь попытайтесь представить себе десятимерный вектор.
К слову, у вас есть все основания спросить: как я должен себе это представить? Как выглядит десятимерный вектор?
Он выглядит так.

В этом и состоит маленький секрет продвинутой геометрии. Тот факт, что мы можем выполнять геометрические операции в десяти измерениях (или в сотне, или даже в миллионе и т. д.), производит большое впечатление, однако мысленные образы, которые мы храним в своей памяти, являются двумерными или самое большее трехмерными. Это все, с чем может работать наш мозг. К счастью, в большинстве случаев такого ограниченного видения достаточно.

Геометрия высших измерений может показаться недоступной для понимания, особенно учитывая, что мир, в котором мы живем, трехмерный (или четырехмерный, если учитывать время, или, может, двадцатишестимерный, если вы относитесь к числу специалистов по теории струн, но даже в таком случае Вселенная не выходит далеко за пределы этих измерений). Зачем же изучать геометрию, которая не реализована во Вселенной?

Один ответ связан с изучением данных, которые получили в наше время очень широкое распространение. Вспомните цифровую фотографию, сделанную четырехмегапиксельной фотокамерой: ее описание состоит из четырех миллионов чисел, по одному на каждый пиксел. (И это еще без учета цвета!) Следовательно, такое изображение представляет собой вектор с размерностью четыре миллиона, или, если угодно, точку в пространстве четырех миллионов измерений. А изображение, которое меняется со временем, представлено точкой, которая

перемещается
в пространстве с размерностью четыре миллиона, которая вычерчивает линию в пространстве с размерностью четыре миллиона, и вы не успеете опомниться, как уже будете выполнять исчисление в пространстве с размерностью четыре миллиона, после чего может начаться настоящее веселье.
Но вернемся к температуре. В нашей таблице два столбца чисел, каждый можно представить в виде десятимерного вектора. Вот как выглядят эти векторы.

Векторы указывают примерно в одном и том же направлении, а это говорит о том, что два столбца чисел не так уж отличаются друг от друга: как мы уже видели, города с самой низкой температурой в 2011 году остались такими же холодными в 2012 году, и то же самое можно сказать о самых теплых городах.

Это и есть формула Пирсона, представленная на языке геометрии. Корреляцию между этими двумя переменными определяет угол между двумя векторами. Если хотите представить это в тригонометрической форме, корреляция – это косинус угла между векторами. Не важно, помните ли вы, что такое косинус; вам нужно знать только то, что косинус угла равен 1, если угол равен 0 (то есть когда векторы указывают в одном направлении), и −1, если угол равен 180 градусам (векторы указывают в противоположных направлениях). Между двумя переменными имеет место положительная корреляция, когда соответствующие векторы образуют острый угол (то есть угол менее 90 градусов), и отрицательная корреляция в случае тупого угла (когда угол между векторами больше 90 градусов). Это имеет смысл: векторы, расположенные под острым углом друг к другу, в каком-то смысле указывают в одном направлении, тогда как векторы, которые образуют тупой угол, как будто преследуют разные цели.

Когда угол между векторами является прямым, то есть не острым и не тупым, корреляция между двумя переменными равна нулю, другими словами эти переменные не связаны друг с другом, во всяком случае с точки зрения, корреляции. В геометрии пара векторов, образующих прямой угол, называются перпендикулярными, или ортогональными. Само собой разумеется, среди математиков и других приверженцев тригонометрии принято использовать слово «ортогональный» для обозначения того, что не связано с рассматриваемым вопросом: «Вы можете предположить, что математические способности связаны с огромной популярностью, но, судя по моему опыту, эти два качества ортогональны». Такое употребление слова постепенно переходит из жаргона гиков в общеупотребительный язык. Посмотрите хотя бы, что произошло во время недавних прений сторон в Верховном суде США

{229}
.
Мистер Фридман.
Думаю, этот вопрос полностью ортогонален рассматриваемому здесь вопросу, поскольку Содружество признает…
Председатель суда Робертс.
Прошу прощения. Полностью что?
Мистер Фридман.
Ортогонален. Прямой угол. Не имеющий отношения. Не относящийся к делу.
Председатель суда Робертс.
Ах да.
Судья Скалиа.
Что это за прилагательное? Мне оно понравилось.
Мистер Фридман.
Ортогональный.
Судья Скалиа.
Ортогональный?
Мистер Фридман.
Да, верно.
Судья Скалиа.
Ох!
(
Смех в зале.
)

Я не против того, чтобы прижилось такое употребление слова
ортогональный
. Математические термины уже давно используются в повседневном языке. Выражение «наименьший общий знаменатель» почти утратило свой первоначальный математический смысл, я уже не говорю о слове
экспоненциально
[275]
.

Использование тригонометрии применительно к векторам высокой размерности для представления корреляции в количественной форме – это, мягко говоря, не то, что имели в виду создатели косинуса. Никейский астроном Гиппарх, составивший первые тригонометрические таблицы во II столетии до нашей эры, пытался рассчитать промежутки времени между затмениями. Векторы, с которыми он имел дело, описывали небесные тела и были однозначно трехмерными. Однако математический инструмент, подходящий для одной цели, как правило, оказывается полезным снова и снова.

Геометрическая интерпретация корреляции проливает свет на некоторые аспекты статистики, которые в противном случае остались бы не совсем понятными. Возьмем в качестве примера богатого представителя элиты с либеральными взглядами. В течение какого-то времени этот человек с несколько сомнительной репутацией был известным персонажем в политических кругах. Пожалуй, самым самоотверженным летописцем этой социальной группы является публицист Дэвид Брукс, написавший целую книгу о социальной группе, которую он назвал «богемная буржуазия», или «бобо». В 2001 году, размышляя о различиях между богатым пригородным округом Монтгомери (штат Мэриленд, моя родина!) и округом Франклин (штат Пенсильвания) с преобладанием среднего класса, Брукс выдвинул предположение, что старый принцип политической стратификации по экономическим классам, согласно которому «Великая старая партия» отстаивает интересы денежных мешков, а демократы выступают за рабочего человека, полностью устарел.

Подобно элитным регионам повсюду, от Кремниевой долины до пригорода Чикаго «Северный берег» и пригородных районов штата Коннектикут, в прошлом году во время президентских выборов округ Монтгомери поддержал предвыборную программу демократической партии с перевесом 63 % против 34 %. Между тем, округ Франклин проголосовал за республиканскую партию с соотношением 67 % голосов против 30 %
{230}
.

Прежде всего следует отметить, что «повсюду» – это преувеличение. Самый богатый округ штата Висконсин – округ Уокешо, охватывающий фешенебельные пригородные районы к западу от Милуоки. Буш победил там Гора с отрывом 63 % против 31 %, тогда как по всему штату небольшой перевес был у Гора.

Тем не менее Брукс обращает внимание на реальный феномен – тот самый, который мы ясно видели на диаграмме разброса на одной из предыдущих страниц. На современном электоральном ландшафте США богатые штаты голосуют за демократов чаще, чем бедные. Миссисипи и Оклахома – это штаты с высокой поддержкой Республиканской партии, тогда как в штатах Нью-Йорк и Калифорния «Великая старая партия» даже не пытается бороться за победу. Другими словами, существует положительная корреляция между проживанием в богатом штате и голосованием за демократов.

Однако статистик Эндрю Гельман обнаружил, что на самом деле ситуация сложнее, чем составленный Бруксом портрет новой породы потягивающих латте, передвигающихся на автомобилях Prius либералов с большими изысканными домами и мешками денег
{231}

. В действительности богатые люди по-прежнему чаще голосуют за республиканцев, чем бедные, – эффект, который существует уже многие десятилетия. Гельман и его коллеги глубже проанализировали данные по штатам и обнаружили очень интересную закономерность. В некоторых штатах, таких как Техас и Висконсин, более богатые округа обычно голосуют за Республиканскую партию
{232}

. В других штатах, таких как Мэриленд, Калифорния и Нью-Йорк, богатые округа склонны поддерживать Демократическую партию. В последних штатах из упомянутых выше живут многие политические деятели. В их ограниченном мире богатых районов действительно обитает много либералов, поэтому для них естественно обобщать этот опыт на остальную часть округа. Естественно, но, если посмотреть на общие результаты, совершенно неправильно.

Создается впечатление, что здесь имеет место парадокс. Между статусом богатого человека и проживанием в богатом штате почти по определению существует положительная корреляция. С другой стороны, существует положительная корреляция между проживанием в богатом штате и голосованием за Демократическую партию. Разве это не означает, что должна существовать корреляция между статусом богатого человека и голосованием за демократов? Представим эту ситуацию в геометрическом виде: если вектор 1 образует острый угол с вектором 2, а вектор 2 образует острый угол с вектором 3, разве не должен вектор 1 находиться под острым углом к вектору 3?

Нет! Вот доказательство в виде рисунка.


Некоторые связи, такие как «больше чем»,
транзитивны
: если мой вес больше веса моего сына, а сын весит больше дочери, тогда мой вес больше веса дочери. «Живет в том же городе» – тоже транзитивная связь: если я живу в том же городе, что и Билл, который живет в том же городе, что и Боб, тогда я живу в том же город, что и Боб.

Корреляция не обладает свойством транзитивности. Она скорее напоминает кровное родство: я кровный родственник своего сына, который является кровным родственником моей жены, но мы с женой не являемся кровными родственниками. На самом деле не такая уж плохая идея представлять себе коррелированные переменные как величины, у которых «совпадает часть ДНК». Предположим, я руковожу небольшой компанией по управлению активами, у которой всего три инвестора: Лаура, Сара и Тим. У них достаточно простые биржевые позиции: фонд Лауры разделен пополам между акциями Facebook и Google, у Тима половина акций General Motors и половина акций Honda, а Сара, поддерживая равновесие между старой и новой экономикой, имеет половину акций Honda и половину акций Facebook. Очевидно, что между рентабельностью инвестиций Лауры и Сары существует положительная корреляция, поскольку у них половина инвестиционного портфеля общая. Существует также сильная корреляция между рентабельностью инвестиций Сары и Тима. Однако нет никаких оснований считать, что доходность фонда Тима как-то связана с доходностью фонда Лауры

[276]
. Эти два фонда как родители: каждый из них вносит свою половину «генетического материала» в формирование гибридного фонда Сары.

Нетранзитивность корреляции и очевидна и загадочна одновременно. В примере со взаимным фондом вас ничто не заставило бы думать, что повышение доходности фонда Тима дает какую-либо информацию, как обстоят дела у Лауры. Однако в других областях наша интуиция работает не так хорошо. Возьмем в качестве примера так называемый хороший холестерин, то есть холестерин, который переносится в крови липопротеинами высокой плотности (далее везде по тексту – ЛПВП). Уже многие десятилетия известно, что высокий уровень ЛПВП в крови связан с более низким риском сердечно-сосудистых осложнений. Если вы не владеете медицинской терминологией, вам поможет такое объяснение: у людей с высоким уровнем хорошего холестерина меньше вероятность умереть от сердечного приступа.

Известно также, что некоторые медицинские препараты гарантированно повышают уровень ЛПВП. Один из популярных препаратов такого типа, разновидность витамина B, – ниацин
[277]

. Если ниацин повышает уровень ЛПВП, а более высокий уровень ЛПВП связан со снижением риска сердечно-сосудистых осложнений, тогда прием ниацина кажется разумной идеей – именно поэтому мой врач рекомендует его мне, как, по всей вероятности, рекомендует это вам ваш врач, если только вы не подросток, не участник марафона и не член какой-либо другой группы людей с особым метаболизмом.

Проблема в том, что не совсем понятно, действительно ли это обеспечивает требуемый результат. Во время небольших клинических испытаний введение ниацина действительно показало многообещающие результаты. Однако крупномасштабное исследование, которое проводил Национальный институт болезней сердца, легких и крови, было остановлено в 2011 году, за полтора года до запланированного окончания испытаний, поскольку результаты были настолько слабыми, что продолжать не имело смысла
{233}

. У пациентов, получавших ниацин, действительно повысился уровень ЛПВП, однако у них было столько же случаев инфаркта миокарда и приступов стенокардии, сколько и у всех остальных участников исследования. Чем это объясняется? Тем, что корреляция не транзитивна. Существует корреляция между ниацином и высоким уровнем ЛПВП, а также корреляция между высоким уровнем ЛПВП и низким риском острых сердечно-сосудистых заболеваний, однако это не значит, что ниацин предотвращает такие заболевания.

Однако мы не скажем, что регулирование уровня холестерина ЛПВП – это тупик. Каждый лекарственный препарат имеет свою специфику, и может быть клинически значимым, на сколько именно вы повышаете уровень ЛПВП. Вернемся к инвестиционной компании: мы знаем, что существует корреляция между показателями рентабельности инвестиций Тима и Сары, поэтому можно попытаться повысить прибыль Сары, приняв меры, направленные на увеличение прибыли Тима. Если ваш подход сводился бы к тому, чтобы дать неоправданно оптимистический совет, чтобы подстегнуть курс акций GM, вы обнаружили бы, что результаты Тима улучшились, тогда как Сара не получила никакой выгоды. Но, если вы сделали бы то же самое с акциями компании Honda, это повысило бы прибыль и Тима и Сары.

Если корреляция была бы транзитивной, проводить медицинские исследования было бы гораздо легче, чем на самом деле. Десятилетия наблюдений и сбора данных позволили нам установить много корреляций, с которыми можно работать. При наличии транзитивности врачам достаточно было бы связать все воедино, разработав надежные методы вмешательства. Мы знаем, что существует корреляция между высоким уровнем эстрогена у женщин и снижением риска сердечно-сосудистых заболеваний, а также что заместительная гормональная терапия может повысить этот уровень; следовательно, можно предположить, что заместительная гормональная терапия может защитить от сердечно-сосудистых заболеваний. И это действительно считалось само собой разумеющимся в клинических кругах. Однако на самом деле, как вы, вероятно, слышали, ситуация гораздо более сложная. В начале третьего тысячелетия в рамках Инициативы по охране здоровья женщин было проведено долгосрочное исследование, состоящее из масштабных рандомизированных клинических испытаний, по результатам которых было установлено, что заместительная гормональная терапия с участием эстрогена и прогестина на самом деле привела к 

повышению
риска сердечно-сосудистых заболеваний у участников исследования
{234}
. Более поздние результаты показывают, что заместительная гормональная терапия может давать разный эффект в разных группах женщин или что эстроген может оказывать более благотворное влияние на сердце, чем сочетание эстрогена и прогестина, и так далее
{235}
.

Все материалы, размещенные в боте и канале, получены из открытых источников сети Интернет, либо присланы пользователями  бота. 
Все права на тексты книг принадлежат их авторам и владельцам. Тексты книг предоставлены исключительно для ознакомления. Администрация бота не несет ответственности за материалы, расположенные здесь