Охота на оленя - парадоксальное избегание взаимовыгодного сотрудничества

Почему смешарики никак не могут собраться репетировать кордебалет? Почему мировые державы никак не могут ратифицировать какой-нибудь договор, который принесет пользу вообще всем? Почему среднестатистический обыватель никак не может начать бегать по утрам? Короче говоря, почему люди никак не могут нормально скооперироваться друг с другом для достижения общих целей?

Разумеется, существует довольно много типов ситуаций вместе с соответствующими им моделями поведения и сценариями провала. Сегодня мы начнем разговор о той, которую в теории игр называют “охота на оленя”. В этой и последующих статьях обсудим, что это за ситуация, как она выглядит на практике, почему хороший результат в ней достигается довольно редко, и как можно начать достигать его чаще.

В сегодняшней статье я сосредоточусь в основном на формальном описании ситуации и о ее связи с другими разновидностями игр, заложив фундамент для последующих, более практически ориентированных статей.

Что такое охота на оленя

Для начала опишем, как выглядит интересующая нас ситуация в теории игр. Вообще-то, хорошо известно классическое описание, но я нашел, что оно содержит изрядное число искусственных условностей и натяжек, из-за чего оно выглядит совсем уж оторванным от реальности. С другой стороны, классическое описание дает всем известную терминологию, и для сокращения понятийных расстояний при общении с другими людьми лучше использовать его.

Так что ниже я приведу два описания: первое в терминах ММО-игры - более правдоподобное и потому лучше иллюстрирующее шестеренки ситуации; второе - классическое и широко известное (и точно более близкое для тех, кто не любит ММО).

Итак, в рамках первого описания у нас есть некий данж (подземелье) под названием “лес”, который раз в день ходит фармить всем составом некая гильдия фиксированного размера. Данж имеет два режима; при входе в него каждый игрок может независимо от других выбрать режим “олень” или “кролик”.

Если игрок выбирает режим “кролик”, то он попадает в индивидуальный простенький данж, где может ценой траты небольшого количества ресурсов зафармить кролика и получить гарантированный лут средней ценности.

Если же игрок выбирает режим “олень”, то он попадает в сложный групповой данж с мощным финальным боссом. Особенностью режима “олень” является то, что зафармить его можно только всей группой целиком; если все игроки действительно соберутся в этом режиме, то они получат очень ценный лут, значительно превосходящий тот, что доступен в индивидуальном режиме; но если хоть один из них предпочтет простой вариант, то участники группового режима гарантированно потеряют множество ресурсов и даже близко не окупят поход в данж.

Классическое же описание звучит так. Некое племя охотников собирается на охоту. Вообще-то они хотят поймать оленя, но вместо этого каждый может выбрать охоту на кролика (и тогда гарантированно добудет ровно одного кролика, не больше и не меньше, и не сможет помочь охотиться на оленя). Чтобы поймать оленя, требуется участие всего племени поголовно, иначе пока они будут окружать оленя - тот ускользнет в образовавшуюся дыру, и скроется в чаще (а других оленей в этом лесу сегодня не будет). Участие в охоте на оленя очень дорого, но при успехе окупается с лихвой; охота на кролика гораздо дешевле, но дает гораздо меньшую прибыль (зато гарантированную).

Опишем теперь игру более формально и приведем конкретную матрицу выплат. Итак, пусть у нас есть 5 игроков, и все они одновременно делают ход, выбирая либо S (stag, олень), либо R (rabbit, кролик). Ход S стоит траты 5 утилонов, ход R - траты 1 утилона. При этом все, кто выбрали R, получают 3 утилона (в зависимости от варианта - либо себе лично, либо в бюджет всей команды, каковой бюджет потом делится поровну на всех). Если все выбрали S, то команда получает 50 утилонов. Тот, кто выбрал S в то время, когда хотя бы один игрок выбрал R, не получает ничего (либо получает долю от кроликов, добытых соплеменниками).

Таким образом, если олень успешно добыт, то каждый получает (50/5 - 5) = 5 утилонов прибыли. Если все пошли охотиться на кролика, то каждый получает 3-1=2 утилона. Если кто-то один пошел на оленя, то он получает либо 5 утилонов убытка (если с ним не делятся), либо 5 - 12/5 = 2.6 утилонов убытка (если прибыль от кроликов делится между всеми); если охотников на оленя от 2 до 4, то их убыток еще больше (т.к. общие число пойманных кроликов еще меньше).

В простейшем случае двух игроков (давайте ради такого урежем оленя с 50 до 20 утилонов, чтобы доля каждого снова составила 10) матрицы выплат можно записать следующим образом:

• Кролики делятся поровну: SS = 5 / 5, SR = -3.5 / 0.5, RS = 0.5 / -3.5, RR = 2 / 2
• Кролик достается поймавшему: SS = 5 / 5, SR = -5 / 2, RS = 2 / -5, RR = 2 / 2

В этой игре мы предполагаем, что все участники эгоцентричны: их заботит только их личная прибыль, а успехи других им совершенно безразличны (они не альтруистичны и не завистливы). Если бы это было не так, то структуру выплат пришлось бы существенно изменить, добавив дополнительные бонусы или штрафы за успехи и потери других участников. В итоге это была бы уже несколько другая игра (впрочем, ниже мы еще немного поговорим об этом).

Замечу также, что при указанных числах начиная с размера племени в 8 человек самым прибыльным вариантом было бы всем идти охотиться на кроликов (иначе одного оленя пришлось бы делить на слишком большое число частей). В дальнейшем мы не будем рассматривать такую тривиальную ситуацию, и всегда будем считать, что размер племени больше критического, и доля каждого участника от оленя в пересчете на утилоны значительно выше, чем один кролик.

Всегда идем охотиться на оленя?

Как мы видели выше, самый выигрышный сценарий для всех - когда все члены племени идут охотиться на оленя. Это не только равновесная по Нэшу ситуация (если все, кроме одного, идут охотиться на оленя, то ему выгоднее всего присоединиться к охоте - даже если кролика можно было бы забрать себе целиком), но и оптимальная по Парето (из всех мыслимых комбинаций ходов - именно этот дает как максимальный выигрыш для каждого, так и максимальный суммарный выигрыш). Верно ли, что при таких радужных перспективах все участники племени как один будут всякий раз подниматься на охоту на оленя? К сожалению, не всё так просто.

Первая большая проблема, с которой в рамках игры ничего нельзя сделать - это то, что текущий бюджет кого-то из членов племени может оказаться меньше 5 утилонов. Тогда они чисто физически не смогут “оплатить взнос” на охоту на оленя, и вынуждены будут охотиться на кролика.

Более того, если у кого-то на руках будет всего 6-7 утилонов, то в отсутствие общего знания о том, что все поголовно намерены идти именно на оленя (а попробуйте-ка установить такое общее знание!) - такой участник может побояться остаться с жалкими 1-2 утилонами только лишь из-за того, что какой-то один нехороший человек решил оторваться от коллектива.

С учетом этих соображений мы еще сильнее отдаляемся от общего знания о том, что все выбирают охоту на оленя: другие участники понимают, что наименее обеспеченные члены племени имеют соблазн избежать рисков и предпочесть охоту на кролика. Конечно, такие опасения могут показаться надуманными, но эрозия общего знания (которое, как мы начинаем видеть, становится в этой игре ключевым!) вполне реальна и начинает сказываться на решениях игроков.

Еще хуже ситуация в одной из разновидностей игры: с некоторой вероятностью оленя в лесу может не оказаться; и даже если все члены племени выбрали охоту на него, то они могут остаться в этот раз ни с чем. В таких условиях риск последними утилонами может оказаться совершенно неприемлемым.

Резюмировать эти рассуждения можно фразой “выбор Шеллинга - это охота на кролика”. Я не уверен, что у термина “выбор Шеллинга” есть строгое математическое определение (хотя он отчетливо перекликается с “точкой Шеллинга”, т.е. “фокальной точкой”), но смысл фразы в следующем: “в условиях неопределенности, когда участники не могут полностью полагаться друг на друга, наиболее разумным выбором будет предпочтение охоты на кролика; более того, в реальных играх чаще всего игроки действительно будут делать именно такой выбор”.

Охота на оленя и Молох

Нетрудно увидеть, что между охотой на оленя и Молохом можно найти много общего. Так, в обоих случаях группа агентов могла бы достичь наилучшего результата, если бы каждый в группе принял “высокое” решение; однако, из-за сложностей в коммуникации по крайней мере часть агентов принимает “низкое” решение. В итоге наилучший результат не достигается; причем те, кто принял в этих условиях “высокое” решение, страдают больше всего.

Однако, есть между ними и существенное различие. А именно: для всех типов Молоха характерны два источника прибыли агента - “низкий” выбор с его стороны и “высокий” выбор со стороны его оппонентов. В то же время в охоте на оленя наилучшая стратегия зависит от стратегий других: если все остальные делают “высокий” выбор, то эгоистично выгодно присоединиться к ним и тоже сделать “высокий” выбор.

Рассмотрим немного подробнее две основные разновидности Молоха: с конкуренцией и без нее.

Молох без конкуренции

Два главных представителя этого класса - дилемма заключенного (Prisoner’s Dilemma, PD) и трагедия общин (Tragedy of the Commons, TC). В принципе, всё, что можно сказать про этот класс, я только что сказал; но поскольку это наиболее простая игра, то давайте рассмотрим ее более формально с точки зрения теории игр.

Для начала напомню пример матрицы выплат для PD (Defect: ”меценат дает вам 1 миллион”, Cooperate: “меценат дает вашему оппоненту 2 миллиона”): CC = 2 / 2; CD = 0 / 3; DD = 1 / 1.

Трагедия общин на примере рыбных хозяйств на одном озере (изначально каждое хозяйство приносит доход 1000, но производит отходы, снижающие продуктивность озера и, как следствие, доход на 200 за каждое хозяйство; очистка отходов стоит 300) дает нам следующую матрицу выплат: CC = 700 / 700, CD = 500 / 800, DD = 600 / 600. Так что фактически TC является обобщением PD на случай более чем двух игроков.

Как мы видим, в случае PD/TC мы имеем единственное равновесие Нэша “все предают”, которое не совпадает с Парето-оптимумом “все кооперируют”.

Молох с конкуренцией

Этот тип ситуаций (которые можно объединить под общим названием “гонка на дно”) характерен тем, что каждый агент стремится в первую очередь получить прибыль большую, чем все его оппоненты. Непосредственный размер прибыли при этом является второстепенным; главное - не быть вытесненным с общего поля более успешными противниками.

Дополнительное (по сравнению с Молохом вообще) отличие гонок на дно от охоты на оленя - в том, что “высокий” выбор оппонентов здесь всегда является выгодным для тех, кто сделал “низкий” выбор. В SH же это далеко не всегда так: обычно “деревенский дурачок”, отправившийся в одиночку на оленя, совершенно безразличен тем, кто охотится на кроликов. А в том варианте, в котором добыча делится поровну между всем племенем - он даже вредит остальным: им потом придется отдавать часть честно заработанного этому неудачнику.

Если же говорить менее формально, то в итерированных гонках на дно все агенты чаще всего остаются более-менее на своих местах в конкурентной иерархии, но при этом синхронно теряют какую-то значимую ценность (иногда - долю от прибыли; иногда - что-то ортогональное ей). Повторяющаяся же охота на кролика чаще означает простое пребывание всех на прежних местах - без потери чего-то существующего, но и без возможности получить что-то новое.

Когда всем охотиться на оленя не обязательно

Выше я уже упоминал некоторые подтипы этой игры: когда добытые кролики либо делятся поровну между всем племенем либо целиком отходят тем, кто их добыл; а также когда олень либо гарантированно находится в лесу, либо с небольшой вероятностью отсутствует. Помимо них есть еще по крайней мере одна вариация: когда для успешной охоты на оленя требуется участие не вообще всего племени, а достаточно достижения какого-то минимального количества участников (скажем, 80% от племени, или 20 участников независимо от размера племени).

Конечно, далеко не все реальные ситуации вырождаются именно в такую разновидность. Препятствия к этому могу быть самые разные:

• на какую-то роль в проекте сложно или невозможно найти замену (главный идеолог проекта, государственный контролирующий орден, участник с уникальными компетенциями);
• один из участников может наложить вето на весь проект;
• необходимый минимум участников едва удалось набрать, и в случае отказа одного из них - найти замену будет крайне сложно;
• одностороннее нарушение обязательства одним из участников имеет критичные необратимые последствия (например, разглашение какой-либо критичной тайны).

Но, конечно, в некоторых случаях такая разновидность все-таки реализуется. Один из примеров - когда для успеха требуется набрать нужное количество более-менее взаимозаменяемых участников (инвесторов, бэкеров на кикстартере или низкоквалифицированных мотивированных сотрудников), чтобы заполнить “шкалу готовности” на 100%.

Другой пример - когда начиная с какой-то критической массы само число активных участников станет серьезным конкурентным преимуществом проекта, и присоединение к нему станет очевидно выгодным (причем зачастую по мере увеличения числа участников эта выгода будет все расти). Примером таких проектов могут быть телекоммуникационные сети, соцсети, ММО-игры.

Чаще всего (как и во всех приведенных примерах) выигрыш от успешной охоты на оленя получают в этой вариации только те, кто присоединился к охоте на него. Но существуют и ситуации, когда успешно реализованный проект оказывается полезен вообще всем (когда генерирует некое общественное благо).

В большинстве же других аспектов выводы о том, что происходит в этой вариации, не отличаются от того, что происходит в стандартной.

Бар Шеллинга

Наконец, вкратце опишем игру, похожую на охоту на оленя (мы не будем здесь на ней останавливаться - просто упомянем для полноты картины). Это - Бар Шеллинга. Суть игры в следующем.

Пусть есть два агента - Алиса (A) и Боб (B), которые хотят вместе сходить в бар (или паб). Баров всего два - “Ксавье” (Xavier, X) и “Иггдрасиль” (Yggdrasil, Y). Алиса предпочитает “Ксавье” вдвое больше, чем “Иггдрасиль”; Боб предпочитает “Иггдрасиль” вдвое больше, чем “Ксавье”. Причем оба они вдесятеро больше хотят сходить в бар вместе, чем поодиночке. Так в какой же именно бар они пойдут?

Платежная матрица будет выглядеть следующим образом: XX = 20 / 10, XY = 2 / 2, YX = 1 / 1, YY = 10 / 20. Можно увидеть, что здесь, в отличие как от дилеммы заключенного (Парето-оптимум не совпадает с равновесием Нэша) и охоты на оленя (существует два равновесия Нэша, одно из которых Парето-оптимально) - есть сразу два Парето-оптимальных равновесия, которые, однако, в разной степени выгодны разным участникам.

Иными словами, в лесу водятся не кролики и олень, а разные олени; причем выплаты за разных оленей различаются для разных игроков (свой проект ближе к телу; роль в проекте имеет значение). И вопрос ставится следующим образом: а на чьего оленя мы пойдем? Обычно наши ресурсы ограничены, и мы не можем заниматься всеми проектами сразу; приходится выбирать только небольшое их число.

К сожалению, зачастую все пытаются заниматься своими проектами, и оказываются в одном из худших сценариев, когда ни один из проектов не оказывается реализован до конца.

В ближайших статьях я не планирую возвращаться к Бару Шеллинга, но рекомендую вам держать в голове еще один сценарий провала: ваш олень не для всех является оленем, кто-то может считать его кроликом, и предпочтет вкладывать свои силы совсем в другого оленя.

В следующих сериях

Итак, в этой статье я описал, что же из себя представляет охота на оленя с точки зрения теории игр. В следующий раз мы посмотрим, как она выглядит не на бумаге, а в более-менее реальных условиях, а затем - что можно сделать, чтобы в подобных ситуациях получать наилучший результат (как, несмотря на склонность участников к охоте на кролика - все-таки поймать оленя).

Эта статья в моем телеграм-канале: https://t.me/bayesian_little_list/21