Statistical analysis moons the bull
НеореакцияЭтим утром в FT появилась интересная статья про статистические методы прогнозирования. Для неподписчиков FT закрывает свои статьи через день после опубликования, так что я подозреваю, что если у вас нет подписки, эта ссылка у вас не откроется.
Я хочу процитировать несколько отрывков из этой статьи — не потому что она настолько хороша — но потому что это один из самых постыдных текстов, какой когда либо где-либо опубликовывался. Проблема заключается в том, что автор статьи, Йен Эйрс, толкает свою новую книгу, и статья в FT — краткий её пересказ. Поскольку книга была написана не совсем недавно [пост был написан в сентябре 2007-го года — пр. пер.], в ней можно встретить некоторые утверждения касательно финансовых рынков, которые в свете последних событий выглядят, мягко скажем, абсолютно уморительно. Наверное, если бы вы были комментатором по вопросам национальной безопасности, и у вас бы была книга, издание которой должно было бы состояться в октябре 2001-го года, в которой вы бы разглагольствовали о том, что угроза терроризма — всего лишь заезженный жупел, изрыгаемый шайкой придурков-неоконсерваторов, вашему издателю хватило бы мозгов отозвать публикацию. Или хотя бы подождать с ней года до 2005-го.
Можно было бы подумать, что редактор статьи в FT мог хотя бы пройтись по вот этому абзацу:
Социологи с 1950-х годов сравнивали точность предсказаний компьютеров и традиционных экспертов — и всё это время они обнаруживали, что статистические модели показывают себя лучше экспертов. Однако теперь это откровение стало революцией, в ходе которой компании, инвесторы и директивные органы используют анализ больших наборов данных для обнаружения эмпирических корреляций между как будто бы не связанных между собой показателями. Хотите захеджировать покупку значительного числа евро? Оказывается, вам нужно продать тщательно подобранное портфолио, состоящее из двадцати шести обязательств и финансовых инструментов, которое может включать в себя акции Волмарта.
Ага, понятно. Хотите, чтобы ваш хедж-фонд всплыл кверху брюхом и взорвался, как прогнивший кит, залив дождём прогнивших финансовых инструментов весь Коннектикут? Оказывается, вам нужно предположить, что финансовые рынки — стохастические системы, в которых будущее повторяет прошлое. Выходит, будто некоторые как будто бы не связанные между собой показатели на самом деле оказываются действительно не связанными.
Как пишет один из комментаторов в блоге Брэда Сетсера (это место — настоящий Мос-Эйсли для гиков, интересующихся макроэкономикой, но см. также блоги Macro Man, Nihon Cassandra, Winter, Plant, Waldman и Hellasious):
Кажется, этот блог обычно рассматривает события с одной из двух перспектив:
1) у процесса секьюритизации были некоторые фундаментальные недостатки,
2) у процесса секьюритизации не было недостатков, однако покупатели инструментов не были готовы к падению их рейтинга в предсказуемых рамках.
Twofish: «у вас есть CDO [обеспеченные долговые обязательства — пр. пер.], поделенные на три транша. Назовём их траншами с высокой, средней и низкой степенью риска. Каждый знает, что CDO из траншей с высокой степенью риска потеряют деньги, вопрос только в том, сколько. Расчёты показывают, что транши с низкой степенью риска потеряют деньги с вероятностью 2%».
Но последнее предложение — это некоторая гипотеза о будущем. Она основана на предположениях (типа «x% займов, обеспечивающих эти облигации, будут вести себя так, как этот набор займов, о которых у нас есть исторические данные»). Модели будут отражать корреляции между разными денежными потоками настолько, насколько их предположения о свойствах, лежащих в основе облигаций ипотечных займов, верны. Проблема заключается в том, что времена меняются, и поведение людей меняется вместе с ними. Некоторым из нас трудно поверить, что модели, которые работают с историческими данными, могут хотя бы попытаться дать надёжные предсказания о будущих событиях.
Если модели ошибаются лишь чуть-чуть — и их авторы учли эту потенциальную ошибку — у вас в руках хорошие CDO. Если они ошибаются не чуть-чуть, у вас в руках пустышка.
Кажется, что люди, которые верят в 1), считают, что модели, скорее всего, и близко не описывают реальность, тогда как люди, которые верят в 2), считают, что с моделями всё более или менее в порядке.
На мой взгляд, проблема с высказыванием 2) заключается в следующем: если с процессом, который породил эти CDO, по сути, всё было в порядке, почему люди, которые знают об этом, не гребут прямо сейчас деньги лопатой, скупая эти CDO по дешёвке?
И действительно. «Почему? Почему?»
К счастью, хотя бы финансовые рынки — не основной пример профессора Эйрса. Однако вместо этого он начинает свою статью с этого прекрасного куска автоматистской бессмыслицы:
Разговорившись, они решили поспорить и устроить "дружественное междисциплинарное соревнование": сравнить точность двух способов предсказания результатов слушаний дел в Верховном суде. В одном углу ринга были предсказания политологов и их диаграммы, в другом — мнения 83 экспертов в области юриспруденции, практикующих юристов и комментаторов, которых просили предсказать голоса судей в случаях, имевших отношение к их области знаний. Заданием было предсказать заранее голоса каждого отдельного судьи по каждому делу, которое рассматривалось в Верховном Суде в 2002-м году.
[…]
Эксперты проиграли. В среднем модель предсказала правильно 75 процентов вердиктов "утвердить"/"отказать", а коллектив экспертов — лишь 59.1 процент. Машина была особенно эффективна в предсказании решающих голосов судьи О'Коннор и судьи Энтони Кеннеди. Модель предсказала голос О'Коннор правильно в 70 процентов случаев, тогда как у экспертов этот показатель был лишь 61 процент.
Итак, почему это нас не удивляет?
Нас это не удивляет, потому что дорогой профессор сравнивает модель с опросом. Иными словами, профессор Эйрс — марафонец мирового класса: забег на 42.2 километра он пробежит быстрее, чем моя бабушка. Впрочем, если учесть степень его интеллектуальной порядочности, которую демонстрирует вышеупомянутая история, он бы наверняка почувствовал необходимость выпнуть у неё из рук костыли, волоча ноги рядом с ней.
Если бы наш уважаемый профессор создал реальный рынок предсказаний, на котором люди могли бы зарабатывать деньги, предсказывая решения Верховного суда, он смог бы столкнуть лучшие модели с лучшими экспертами — экспертами, отобранными не его секретарём, а адаптивной системой, которая вознаграждает за успех и наказывает за ошибки. Чёрт, если бы у него была хорошая модель, он бы даже смог попробовать заработать кое-какие деньги. Может быть, он даже смог бы оторваться от Официальной сиськи.
Итак, почему же никто этого не сделал (по крайней мере, я не нахожу никаких интересных результатов, вбивая в гугл «Верховный суд» и «рынок предсказаний»)? Может быть, потому что — как я подозреваю — этот рынок ошибался бы намного реже, чем в 10% случаев? Может быть, потому что, если ваша карьера — это карьера крестоносца, воюющего за «социальную справедливость», медиа-шлюхи на все случаи жизни и вечного пиарщика Fedco, создание эксперимента, который бы продемонстрировал, по сути, комичную природу самого почтенного бюро ротационной системы — Совета инспекторов — не та идея, которая мгновенно приходит вам на ум? Так, пальцем в небо.
Если вам нужна научпоп-книга о моделировании и предсказаниях, попробуйте ознакомиться с «The Future of Everything» Дэвида Оррэлла. Оррэлл — настоящий математик — говорит о моделях немного; он говорит о них в основном то, что доверять им — очень плохая идея. Как почти однофамилец Оррэлла однажды выразился, «змее верь больше чем еврею, еврею верь больше чем греку, но никогда не доверяй армянину». Надеюсь, к концу книги Оррэлла вы скорее поверите целому клану жонглирующих змеями армян греко-еврейского происхождения, чем предположите, что «тщательно подобранное портфолио, состоящее из двадцати шести обязательств и финансовых инструментов», будет всегда следовать за флуктуациями евро.
Если же вам больше интересна финансовая сторона вопроса: я ещё не закончил книгу Рика Букстэбера, но пока что она мне нравится. Ознакомиться с австрийской экономической школой Букстэберу бы совершенно не помешало, однако его эссе в Time «Blowing Up The Lab» — одно из лучших введений в историю катастрофы CDO, какое я только видел.
Обложка первой части антологии Far Side Гэри Ларсона — мне кажется, лучший рисунок из всех, какие только появлялись на Far Side. Впрочем, обратите внимание: идиоты-фотографы всего лишь показывают быку языки. Они не повернулись и не показали ему свою голую задницу — как это только что сделал профессор Эйрс. Надеюсь, он уже поручил перевести все свои роялти принадлежащему Goldman Sachs фонду Global Alpha, которому после того, как «за три дня произошли три события с вероятностью, выходящей за пределы двадцати пяти стандартных отклонений», наличка явно не помешает.