(Не)совершенная случайность

{136}

. А в 2008 г. группа добровольцев, которых попросили оценить пять бутылок вина, оценила бутылку с этикеткой «90 долларов» выше, чем бутылку с этикеткой «10 долларов», хотя хитрые ученые налили в обе бутылки одно и то же вино. Более того, во время этого опыта с помощью функционального магнитно-резонансного томографа регистрировалась активность мозга испытуемых. Обнаружилось, что зона мозга, активация которой обычно соотносится с переживанием удовольствия, действительно активируется в большей степени, когда испытуемые пьют вино, которое считают более дорогим

{137}
. Но прежде чем осудить этих горе-ценителей, примите к сведению следующий факт: когда исследователи выяснили у 30 любителей колы, предпочитают ли они «Пепси-колу» или «Кока-колу», а потом попросили проверить свои предпочтения, продегустировав оба напитка, стоящие бок о бок, 21 человек из 30 сообщили, что проверка подтвердила их выбор, хотя коварные исследователи налили «Кока-колу» в бутылки от «Пепси-колы», и наоборот
{138}

. Когда мы оцениваем или измеряем, наш мозг полагается отнюдь не только на непосредственно воспринимаемое, но использует и другие источники информации — например, ожидания.

Дегустаторов вин часто сбивает с толку и оборотная сторона ошибки ожидания — недостаток контекста. Поднося к носу корень хрена, вы едва ли перепутаете его с зубчиком чеснока, а запах чеснока не спутаете с запахом, скажем, стелек из ваших ношеных кроссовок. Но если вам приходится иметь дело с ароматом прозрачных жидкостей, оттолкнуться не от чего. В отсутствие контекста высока вероятность того, что ароматы будут перепутаны. Именно это случилось, когда исследователи предъявили экспертам набор из шестнадцати случайно отобранных запахов: эксперты неверно определили в среднем каждый четвертый запах

{139}
.
Имея все основания для скептицизма, ученые разработали методы прямой оценки различения вкусов экспертами. Один из таких методов — использование «треугольника вин». Это не собственно треугольник, скорее метафора: каждому эксперту предъявляется три сорта вина, два из которых идентичны. Задача состоит в том, чтобы выявить отличающийся от остальных сорт вина. В исследовании 1990 г. эксперты успешно справились с этой задачей только в
2
/
3

случаев, то есть на каждые три пробы приходилась одна, в которой эти гуру не могли отличить пино нуар, допустим, «с роскошным букетом земляники, сочной ежевики и малины», от пино «с выраженным ароматом сушеного чернослива, желтой черешни и бархатистой черной смородины»
{140}

. В том же исследовании группу экспертов попросили оценить ряд вин по 12 параметрам: таким, как содержание алкоголя, присутствие танинов, сладость и фруктовый запах. Эксперты существенно разошлись в своих оценках по 9 из 12 параметров. Наконец, когда их попросили подобрать вина, подходящие под описания, данные другими экспертами, испытуемые выполнили задачу правильно только в 70% случаев.

Сами дегустаторы в курсе всех этих трудностей. «Во многих планах… {система оценивания} лишена смысла», — говорит редактор журнала «Уайн энд спирит мэгэзин»
{141}
. А по мнению бывшего редактора «Уайн Энтузиаст», «чем глубже ты во все это погружаешься, тем больше понимаешь, насколько оно ошибочно и обманчиво»
{142}

. Тем не менее система оценивания процветает. Почему? Сами дегустаторы говорят, что когда они пытаются определить качество вина, используя систему звездочек или простейшие словесные ярлыки наподобие «хорошее», «плохое», «безобразное», их мнение звучит неубедительно. Но стоит перейти к использованию цифр, как покупатели начинают относиться к оценкам словно к божественному откровению. Как бы ни были сомнительны количественные оценки, именно они дают покупателям уверенность, что среди многообразия марок, производителей и урожаев им, словно в стоге сена, удастся отыскать золотую иголку (или хотя бы серебряную, если бюджет не позволяет).

Если качество вина (или сочинения) в самом деле может быть подвергнуто измерению в числовом выражении, то перед теорией измерения встает два вопроса. Во-первых, как получить это число на основе ряда отличающихся друг от друга измерений? Во-вторых, имея в виду, что число измерений ограничено, как вычислить вероятность того, что оценка верна? Рассмотрим эти вопросы, поскольку независимо от того, объективен или субъективен источник данных, теория измерения ставит себе целью найти на них ответы.

Ключ к пониманию измерения — постижение природы разброса данных, обусловленного случайной ошибкой. Предположим, мы попросили пятнадцать дегустаторов оценить некоторое вино, или же предложили оценить его несколько раз в разные дни одному и тому же дегустатору, или прибегли к обеим процедурам. Мы можем подвести итоги оценивания, используя усреднение полученных оценок. Однако важную информацию содержит не только среднее значение: если все пятнадцать дегустаторов выставляют оценку 90, это одно, а если они выставляют оценки 80, 81, 82, 87, 89, 89, 90, 90, 90, 91, 94, 97, 99 и 100 — это совсем другое. Среднее значение обоих наборов данных одно и то же, но они различаются разбросом данных относительно этого среднего. А поскольку распределение данных — важный источник информации, для его описания математики предложили количественную меру разброса. Эта мера называется выборочным стандартным отклонением. Кроме того, математики измеряют разброс посредством квадратичной меры, которую называют выборочной дисперсией.

Стандартное отклонение показывает, насколько данные по выборке близки к среднему — или, в практическом смысле, какова погрешность измерения. Если оно невысоко, все данные группируются вокруг среднего. Например, для случая, когда все дегустаторы поставили вину оценку 90, стандартное отклонение равно 0, указывая на то, что все измерения идентичны среднему значению. В случае же высокого стандартного отклонения данные разбросаны относительно среднего. Например, когда вино оценивается дегустаторами в диапазоне от 80 до 100, выборочное стандартное отклонение равно 6. Это означает, что на практике большинство оценок попадет в диапазон от −6 до +6 относительно среднего. В рассмотренном случае о вине можно с высокой степенью уверенности сказать, что его истинная оценка, скорее всего, относится к диапазону от 84 до 96.

Пытаясь понять значение своих измерений, ученые XVIII–XIX вв. сталкивались с теми же проблемами, что и скептически настроенные ценители хороших вин. Ибо если группа исследователей осуществляет ряд наблюдений и измерений, результаты почти всегда получаются разными. Один астроном мог столкнуться с неблагоприятными погодными условиями, другой — покачнуться из-за порыва ветра, третий, возможно, только что вернулся от Уильяма Джеймса, с которым вместе дегустировал мадеру. В 1838 г. математик и астроном Ф.В. Бессель выделил одиннадцать классов случайных ошибок, которые могут возникнуть в ходе любого наблюдения с использованием телескопа. Даже если один и тот же астроном осуществляет ряд повторных измерений, результаты могут различаться из-за таких факторов, как неустойчивая острота зрения и влияние температуры воздуха на аппаратуру. Поэтому астрономам пришлось разбираться, как на основе ряда несовпадающих измерений установить истинное положение небесного тела. Но из того, что ценители вин и ученые сталкиваются с одной и той же проблемой, совсем не обязательно следует, что для них годится одно и то же решение. Можно ли выделить универсальные характеристики случайной ошибки, или же ее природа зависит от контекста?

Одним из первых предположение о том, что для разных типов измерений характерны одни и те же особенности, выдвинул Даниил Бернулли, племянник Якоба Бернулли. В 1777 г. он уподобил случайную ошибку в астрономическом наблюдении отклонениям в траектории выпущенной из лука стрелы. В обоих случаях, рассуждал он, цель — истинное значение измеряемой переменной или же «яблочко» мишени — располагается где-то посреди, а наблюдаемые результаты группируются вокруг нее, причем большинство должны лежать в окрестностях цели, и лишь немногие выпадают за их пределы. Закон, который Бернулли предложил для описания этого распределения, оказался неверен, однако важно само понимание того, что распределение ошибок лучника может быть сходно с распределением ошибок в наблюдениях астрономов.

Идея о том, что распределение ошибок подчиняется некому универсальному закону, который называют законом случайного распределения ошибок, является основополагающей для теории измерения. И вот что примечательно: допущение состоит в том, что при условии удовлетворения определенных условий довольно общего характера установить истинное значение некоторой переменной на основе ряда измерений можно с использованием одного и того же математического аппарата. Если в дело вступает универсальный закон, то задача установления истинного положения небесного тела на основе ряда наблюдений астрономов приравнивается к задаче нахождения центра мишени на основе дырочек от стрел или определения «качества» вина на основе ряда экспертных оценок. Именно поэтому математическая статистика — последовательная и согласованная область, а не просто набор трюков: неважно, осуществляете ли вы ряд измерений для того, чтобы установить положение Юпитера в 4 часа утра на Рождество или средний вес булок с изюмом, выходящих с конвейера, распределение ошибок будет одним и тем же.

Однако отсюда не следует, что случайная ошибка — единственный вид ошибок, которые могут повлиять на измерение. Если половина дегустаторов предпочитает красное вино, а другая половина — белое, однако во всех остальных отношениях они сходятся в своих суждениях (и предельно последовательны в их вынесении), то оценка каждого конкретного вина не будет определяться законом случайного распределения ошибок: распределение получится резко двугорбым, причем причиной появления одного из пиков станут любители красного вина, а другого — любители белого. Но даже в тех случаях, когда применимость закона случайного распределения ошибок не столь очевидна (начиная от футбольного тотализатора

{143}

и заканчивая измерением коэффициента интеллекта), зачастую он все же оказывается применим. Много лет назад мне в руки попали несколько тысяч регистрационных карточек покупателей компьютерной программы, которую разработал для восьми- и девятилетних школьников мой приятель. Продажи шли не так хорошо, как ожидалось. Кто же покупал программу? После некоторых подсчетов я установил, что наибольшее число пользователей приходится на семилетних, указывая на нежелательное, но не то чтобы неожиданное расхождение. Но вот что самое удивительное: когда я построил гистограмму зависимости количества пользователей от возраста, взяв семь лет за среднее значение, я обнаружил, что построенный мною график принял крайне знакомую форму — форму закона случайного распределения ошибок.

Одно дело — подозревать, что лучники и астрономы, химики и маркетологи сталкиваются с одним и тем же законом распределения ошибок, и совсем другое — самому натолкнуться на частный случай этого закона. Подталкиваемые необходимостью анализировать данные астрономических наблюдений ученые, такие как Даниил Бернулли и Лаплас, постулировали в конце XVIII в. несколько вариантов закона, оказавшихся неверными. Однако выяснилось, что математическая функция, верно отражающая закон случайного распределения ошибок, — колоколообразная кривая — все это время была у них под носом. За много десятилетий до них она была открыта в Лондоне в контексте решения совсем иных задач.

Среди троих ученых, благодаря которым на колоколообразную кривую обратили внимание, реже всех воздается по заслугам именно ее первооткрывателю. Абрахам де Муавр совершил свое открытие в 1733 г., когда ему было за шестьдесят, однако до появления второго издания его книги «Об измерении случайности», вышедшего в свет пять лет спустя, об этом никто не знал. Де Муавр пришел к искомой форме кривой, когда пытался аппроксимировать числа, заполняющие треугольник Паскаля значительно дальше той строки, на которой оборвал его я, — сотнями и даже тысячами строк ниже. Когда Якоб Бернулли обосновывал свой вариант закона больших чисел, ему пришлось столкнуться с некоторыми свойствами чисел, появляющихся в этих строках. А числа действительно очень велики: например, одно из чисел в двухсотой строке треугольника Паскаля состоит из пятидесяти девяти цифр! Во времена Бернулли, да и вообще до тех пор, пока не появились компьютеры, эти числа было очень трудно высчитать. Именно поэтому, как я сказал, Бернулли обосновывал свой закон больших чисел, используя различные способы приближенного вычисления, что снижало практическую значимость результатов его работы. Де Муавр со своей кривой осуществил несравненно более точную аппроксимацию и потому значительно улучшил оценки Бернулли.

Как де Муавр осуществил свою аппроксимацию, становится понятно, если числа в ряду треугольника представить в виде высоты столбика на гистограмме — я поступил так с регистрационными карточками. Например, числа в третьей строке треугольника — 1, 2, 1. Тогда на гистограмме первый столбик будет высотой в одно деление, второй — вдвое выше, а третий — вновь высотой в одно деление. Рассмотрим теперь пять чисел в пятой строке: 1, 4, 6, 4, 1. На гистограмме будет пять столбиков, она вновь начнется с минимальной высоты, достигнет максимума в центре и продемонстрирует симметричное снижение. Если спуститься по треугольнику вниз, получатся гистограммы с огромным количеством столбиков, но поведение их будет тем же самым. Гистограммы для 10-й, 100-й и 1000-й строк треугольника Паскаля приведены ниже.

Столбцы в представленных выше гистограммах отображают относительную величину числа в 10-м, 100-м и 1000-м рядах треугольника Паскаля (см. выше). Числа по оси абсцисс — элементы строки треугольника, к которым относятся столбики. По традиции нумерация начинается с 0, а не с 1 (средняя и нижняя гистограммы обрезаны так, что элементы, столбики для которых имеют пренебрежимую высоту, на рисунке не представлены).

Если теперь провести кривые, соединяющие вершины столбиков на каждой из гистограмм, все они окажутся характерной формы, напоминающей колокол. А если несколько сгладить эти кривые, можно подобрать соответствующее им математическое выражение. Колоколообразная кривая — не просто визуализация чисел в треугольнике Паскаля: это инструмент, позволяющий получить точные и удобные в употреблении оценки значений чисел, появляющихся в расположенных ниже строках треугольника. В этом и состояло открытие де Муавра.

Сегодня колоколообразную кривую называют обычно нормальным распределением, а иногда — Гауссовой кривой (вскоре читатель узнает, откуда взялось это название). Нормальное распределение — не отдельная фиксированная кривая, но целое семейство кривых, определяемых двумя параметрами, задающими положение кривой и ее форму. Первый из них — расположение пика: в графиках выше это 5, 50 и 500 соответственно. Второй — степень разброса. Этот показатель, получивший свое современное наименование лишь в 1894 г., называется стандартным отклонением и представляет собой теоретический аналог понятия, о котором я уже упоминал — выборочного стандартного отклонения. Грубо говоря, это половина ширины кривой в той точке, где кривая достигает своей 60%-ной высоты. В наше время значение нормального распределения выходит далеко за пределы аппроксимации чисел в треугольнике Паскаля. Это самая распространенная форма распределения любого рода данных.

При описании распределения данных колоколообразная кривая демонстрирует, что в том случае, когда вы делаете много замеров, большинство их результатов будут примыкать к среднему значению, что отображается в виде пика. Симметрично снижаясь по обе стороны от пика, кривая показывает, как убывает число результатов замеров ниже и выше среднего, поначалу довольно резко, а потом не столь круто. Если данные распределены нормально, около 68% (т. е. приблизительно
2
/
3

) результатов измерений попадают в пределы одного стандартного отклонения, около 95% — в пределы двух стандартных отклонений и 99,7% — в пределы трех стандартных отклонений.
Чтобы представить себе эту картину, взгляните на графики ниже. Квадратики соответствуют результатам угадывания 300 студентами исходов десятикратного подбрасывания монеты
{144}

. По оси абсцисс отложено количество верных угадываний — от 0 до 10. По оси ординат — количество студентов, продемонстрировавших соответствующее количество верных угадываний. Кривая имеет колоколообразную форму с пиком на уровне 5 верных угадываний: столько раз верно угадали исход подбрасывания 75 студентов. Двух третей максимальной высоты (соответствующее количество студентов — 51) кривая достигает посередине между 3 и 4 верными угадываниями слева и между 6 и 7 верными угадываниями справа. Колоколообразная кривая с таким стандартным отклонением типична для стохастических процессов вроде угадывания исходов подбрасывания монеты.

Угадывание исходов подбрасывания монет и подбор акций: сопоставительный анализ.
Кружочками на том же графике отображен еще один набор данных — успешность работы 300 менеджеров паевых инвестиционных фондов. Для этого набора данных по оси абсцисс отложено не количество верных угадываний исходов подбрасывания монеты, а количество лет (из 10), когда показатели успешности работы менеджера были выше группового среднего. Обратите внимание на сходство! Мы еще вернемся к нему в главе 9.

Чтобы понять связь между нормальным распределением и случайной ошибкой, можно рассмотреть процесс проведения выборочного опроса. Вспомним опрос относительно популярности мэра Базеля, который я упоминал в главе 5. В этом городе часть жителей одобряет деятельность мэра, а часть осуждает. Для простоты примем, что тех и других по 50%. Но, как мы видели, результаты опроса не обязательно будут полностью соответствовать этой пропорции 50/50. И в самом деле, если выборочно опросить N горожан, то вероятность, что любое произвольное их число поддержит мэра, пропорциональна числам в строке N треугольника Паскаля. А раз так, то, согласно работам де Муавра, если служба общественного мнения опросит большое число горожан, вероятность всех возможных результатов опроса можно будет описать с помощью кривой нормального распределения. Иными словами, около 95% случаев одобрения попадет в пределы 2 стандартных отклонений от истинного рейтинга мэра, 50%. Для описания этой погрешности службы общественного мнения используют понятие «допустимый предел погрешности». Сообщая средствам массовой информации, что предел погрешности опроса составляет ±5%, они имеют в виду, что если повторить опрос много раз подряд, 19 из 20 раз (т. е. в 95% случаев) результат его будет в пределах 5% от истинного значения измеряемой переменной. (И хотя службы общественного мнения редко на это указывают, в 1 случае из 20 результат опроса будет мало соответствовать действительности.) На практике размеру выборки в 100 человек соответствует такой допустимый предел погрешности, который никуда не годится. А вот для выборки в 1000 человек предел погрешности обычно составляет около 3%, что уже вполне пригодно для большинства целей.

Однако, проводя опрос любого рода, важно сознавать, что при любом повторении опроса результат хоть немного, но изменится. Например, если в действительности 40% зарегистрированных избирателей дают положительную оценку деятельности президента, шесть независимых опросов скорее покажут что-то вроде 37%, 39%, 39%, 40%, 42% и 42%, нежели сойдутся на показателе в 40%. (Эти шесть чисел — действительные результаты шести независимых опросов, призванных выявить количество граждан, которые положительно оценивали деятельность президента в первые две недели сентября 2006 года

{145}

.) Вот почему на практике на изменчивость данных в рамках допустимого предела погрешности не следует обращать внимания. Но даже если «Нью-Йорк Таймс» никогда и не вынесет на первую страницу заголовок «Количество рабочих мест и уровень заработной платы к двум часам пополудни несколько выросли», в публикациях, посвященных политическим опросам, подобного рода заголовки — не редкость. Например, после Национального партийного съезда республиканцев в 2004 г. «Си-эн-эн» разродилась выпуском новостей, озаглавленным так: «Похоже, рейтинг Буша несколько вырос»

Все материалы, размещенные в боте и канале, получены из открытых источников сети Интернет, либо присланы пользователями  бота. 
Все права на тексты книг принадлежат их авторам и владельцам. Тексты книг предоставлены исключительно для ознакомления. Администрация бота не несет ответственности за материалы, расположенные здесь