Цели.

Тайна бытия человеческого не в том, чтобы только жить, а в том, для чего жить.

Ф. Достоевский. Братья Карамазовы

Жизнь – это путешествие, а не пункт назначения.

Ральф Уолдо Эмерсон

Если бы мне надо было одним словом выразить, в чем сложность AI спора, я бы выбрал слово “цели”. Должны ли мы определить цели для искусственного интеллекта? И если да, то какие именно цели? Кто сможет поставить эти цели? Сможем ли мы убедиться, что эти цели сохранятся даже при развитии искусственного интеллекта? Сможем ли мы изменить цели, если AI станет умнее нас? Какие наши основные цели?

Эти вопросы не только сложны – они основополагающи для будущего жизни: если мы не знаем, чего хотим, маловероятно, что мы сможем этого достичь, а если мы передадим контроль машинам, которые не разделяют наших целей, то, скорее всего, мы получим совсем не то, чего бы нам хотелось.

Физика: происхождение целей

Дабы пролить свет на эти вопросы, давайте сначала изучим основы происхождения целей. Когда мы оглядываемся вокруг, некоторые процессы кажутся нам нацеленными на определенный результат, а другие нет. Рассмотрим для примера такой процесс: ударили по футбольному мячу, чтобы забить решающий гол в игре. Само поведение мяча при этом не кажется целенаправленным и экономнее всего описывается ньютоновским законом движения как реакция мяча на удар. С другой стороны, поведение игрока экономнее всего объясняется не механистически (атомы толкают все вокруг себя), а тем, что у него была цель – добиться для своей команды улучшения счета. Каким образом такое целенаправленное поведение вырастает из физики нашей ранней Вселенной, которая состояла в основном из группы частиц, ударяющихся обо все вокруг себя, на первый взгляд, безо всякой цели?

Любопытно, что источник целенаправленного поведения может быть найден в самих законах физики и обнаруживает себя даже в простых процессах, которые не подразумевают наличия жизни. Если девушка спасатель приходит на помощь купальщику, как показано на рис. 7.1, мы ожидаем от нее движения по прямой, но она пробегает дальше по берегу, где можно двигаться быстрее, чем в воде, а потом немного изменяет направление, когда входит в воду. Мы естественно объясняем ее выбор траектории наличием конкретной цели, так как из всех возможных она осознанно выбирает оптимальную, которая поможет ей добраться до утопающего быстрее всего. Но ведь и луч света преломляется, когда проходит через воду (см. рис. 7.1), так чтобы время пробега до конечной цели оказалось минимальным. Как такое возможно?

Рис. 7.1

Это явление известно в физике и называется принципом Ферма – по имени ученого, описавшего его в 1662 году и предложившего свое объяснение поведения светового луча. Примечательно, что физики с тех пор открыли, что все законы классической физики могут быть математически переформулированы аналогичным способом: из всех путей, которыми располагает природа, чтобы что то сделать, она всегда выбирает оптимальный, который обычно сводится к минимизации или максимизации количества. Существует два математически эквивалентных способа сформулировать закон физики: либо через связь прошлого с будущим, либо через природную оптимизацию чего нибудь. И хотя второй способ обычно не упоминается в элементарных курсах физики, потому что он предполагает больше математических расчетов, мне он кажется более элегантным и обоснованным. Когда человек пытается что то оптимизировать (счет, благосостояние или счастье), мы склонны описывать такое поведение как целенаправленное. Поэтому, если сама природа старается что то оптимизировать, нет ничего удивительного в том, что проявляется целенаправленное поведение: оно было зашито у нее в “харде” самими законами физики.

Известна физическая величина, которую природа старается максимизировать, – это энтропия, или, грубо говоря, мера беспорядка в описываемых предметах. Второй закон термодинамики утверждает, что энтропии свойственно увеличиваться до тех пор, пока она не достигнет максимально возможного значения. Если забыть на время о наличии сил тяжести, то конечная стадия, когда максимальный беспорядок повсеместно достигнут, называется тепловой смертью – это означает, что все обретает скучное безупречное однообразие, без сложности, без жизни и без изменений. Когда вы, например, наливаете холодное молоко в горячий кофе, ваш напиток начинает безудержно стремиться к своей собственной тепловой смерти и вскоре превращается в однородную тепловатую жидкость. При смерти живого организма энтропия в нем также возрастает, и вскоре организованность его частиц существенно снижается.

Стремление природы увеличить энтропию объясняет, почему время имеет определенное направление, заставляя фильмы выглядеть нереалистично, если просматривать их задом наперед: если вы уроните бокал вина, вы ожидаете, что он разлетится вдребезги, ударившись об пол, и тем самым увеличит глобальный хаос (энтропию). Если же вы увидите, как он собирается и летит назад в руку (энтропия при этом явно уменьшается), то, скорее всего, вы решите больше из него не пить, посчитав, что вам на сегодня хватит.

Когда я впервые узнал о нашем неумолимом движении по направлению к тепловой смерти, я очень расстроился – и был в этом не одинок: один из основателей термодинамики, лорд Кельвин, писал в 1841 году, что “в результате [все] неизбежно придет в состояние всеобъемлющего покоя и смерти”, и сложно утешать себя тем, что такова, видно, долгосрочная цель природы – торжество смерти и разрушения. Однако последующие исследования показали, что все не так плохо. Во первых, гравитация ведет себя не так, как все другие силы, и старается сделать нашу Вселенную не однообразной и скучной, а все более разнообразной и интересной. Благодаря этому гравитация превратила нашу скучную раннюю Вселенную, которая была абсолютно однообразна, в сегодняшний прекрасный и сложный космос, наполненный галактиками, звездами и планетами. Благодаря гравитации во Вселенной сегодня колоссальный разброс температур, который позволяет жизни процветать, лавируя между горячим и холодным: мы живем на теплой комфортной планете, которая сначала поглощает солнечную энергию, пришедшую с поверхности нагретого до 6 000 °C светила, а потом излучает ее, отдавая холодному космическому пространству, температура которого всего на три градуса отличается от абсолютного нуля.

Во вторых, недавняя работа моего коллеги по MIT Джереми Ингланда с соавторами принесла нам хорошие новости: термодинамика находит в природе и более вдохновляющую цель, чем тепловая смерть. Эта цель называется диковатым словосочетанием диссипативно направленная адаптация, подразумевающим, что случайно сформировавшиеся группы частиц стремятся самоорганизоваться таким образом, чтобы получать энергию из окружающей среды наиболее эффективным способом (слово “диссипация” здесь означает, что энергия распределяется между степенями свободы с увеличением энтропии, то есть превращается в тепло, зачастую производя попутно какую то полезную работу). Например, в группе молекул, выставленных на солнце, со временем проявится тенденция так расположиться по отношению друг к другу, чтобы лучше поглощать солнечный свет. Другими словами, природа, похоже, сама собой нацелена на производство самоорганизующихся систем, которые, все усложняясь и усложняясь, все больше походят на жизнь, и эта цель зашита в “хард” самих физических законов.

Как мы можем увязать это космическое стремление к жизни с космическим стремлением к тепловой смерти? Ответ можно найти в известной книге 1944 года What’s Life? Эрвина Шрёдингера, одного из основателей квантовой механики. Шрёдингер указал на то, что живая система поддерживает свою энтропию на постоянном уровне или даже сокращает ее за счет увеличения энтропии вокруг себя, – и в этом отличительная черта живых систем. Другими словами, второй закон термодинамики имеет лазейку: хотя всеобщая энтропия должна увеличиваться, в некоторых местах разрешается сокращать энтропию, – при условии, что она еще больше увеличивается где то еще. Так жизнь поддерживает или увеличивает свою сложность за счет создания хаоса вокруг себя.

Биология: эволюция целей

Мы только что увидели, как происхождение целенаправленного поведения можно отследить в законах физики, из за которых, кажется, даже у элементарных частиц есть цель вести себя таким образом, чтобы выжимать энергию из окружающей среды наиболее эффективно. Отличный способ для этого – делать копии самих себя, производя побольше поглотителей энергии. Существует много известных примеров такой эмергентной саморепликации: например, вихри в турбулентном потоке порождают копии самих себя, и кластер микросфер может спровоцировать формирование таких же кластеров в соседних сферах. В какой то момент частицы приноравливаются настолько хорошо копировать себя, что процесс может продолжаться практически бесконечно, добывая энергию и вещество из окружающей среды. Такой способ упорядочения частиц мы называем жизнью. Мы все еще очень мало знаем о происхождении жизни на Земле, но мы знаем, что примитивные формы жизни существовали уже 4 миллиарда лет назад.

Если жизнь создает копии самой себя и эти копии снова поступают так же, тогда общее количество их будет продолжать удваиваться с равными временными интервалами, пока популяция не разрастется до такой степени, что столкнется с нехваткой ресурсов или какой то другой проблемой. Повторяющееся удвоение быстро доходит до больших чисел: если начать с одного и удваивать его всего лишь триста раз, вы получите число, превосходящее количество частиц в нашей Вселенной. Это означает, что вскоре после появления первой примитивной формы жизни колоссальное количество вещества стало живым. Не всегда копирование происходило успешно, так что вскоре появилось много разных видов жизни, старающихся скопировать себя, борющихся за один и тот же ограниченный ресурс. Началась дарвиновская эволюция.

Если бы вы наблюдали за Землей в период появления на ней жизни, вы бы заметили существенные изменения в целенаправленном поведении частиц. Так, например, раньше частицы как будто старались увеличить хаос всеми возможными средствами, теперь же эти вездесущие, копирующие себя частицы преследовали иную цель: не диссипация, а репликация. Чарльз Дарвин элегантно объяснил причину: раз именно то, что удачнее всего другого скопировалось, обгоняет всех прочих и доминирует над ними, пройдет немного времени, и любая случайно возникшая форма жизни будет выглядеть так, словно ее оптимизация и была целью всех предшествующих репликаций.

Как же могла цель поменяться с диссипации на репликацию, если законы физики остались неизменными? Ответ в том, что цель, лежащая в основе (диссипация), не изменилась, но привела к другой цели, служащей инструментом на пути к достижению основной цели. Возьмем, к примеру, утоление голода. Кажется, что у каждого из нас есть цель – утолить свой аппетит, хотя мы и знаем, что основной задачей эволюции является репликация, а не пережевывание пищи. Это потому, что еда помогает репликации: если морить себя голодом, останешься без детей. Таким же образом репликация ведет к диссипации, так как планета, на которой жизнь кишмя кишит, поглощает больше энергии. Так что, в некотором роде, космос создал жизнь, чтобы помочь себе быстрее достичь тепловой смерти. Если вы рассыпали сахар на кухне, он может годами там оставаться, сохраняя свою полезную химическую энергию, но если появятся муравьи, они уничтожат эту энергию за считанные минуты. Точно так же запасы нефти в недрах Земли сохраняли бы свою полезную химическую энергию намного дольше, если бы двуногая форма жизни не выкачивала их и не сжигала.

Среди современных высокоразвитых обитателей Земли эти вспомогательные цели, кажется, зажили собственной жизнью: хотя эволюция оптимизировала их до такой степени, что оставила им единственную цель – саморепликацию, многие тратят большую часть своего времени не на производство потомства, а на сон, потребление пищи, строительство домов, защиту своих прав, войны или помощь другим – зачастую в ущерб размножению. Исследования по эволюционной психологии, экономике и искусственному интеллекту прекрасно объяснили, почему так происходит. Некоторые экономисты строили модели, в которых люди выступали в роли рациональных агентов, этаких идеализированных мастеров принимать правильные решения и всегда выбирать оптимальный путь к цели. Очевидно, что такие модели не реалистичны. На практике этим агентам свойственно то, что нобелевский лауреат и автор важных ранних работ по искусственному интеллекту Герберт Саймон назвал “рациональностью, ограниченной недостаточностью ресурсов”: рациональность их решений ограничена неполной информацией, недостатком времени для принятия правильного решения и несовершенством “харда”, помогающего им думать. Это означает, что в то время как дарвиновская эволюция оптимизирует организм для достижения цели, самое лучшее, что она может сделать, – это применить примерный алгоритм, который работает достаточно хорошо, в ограниченном контексте, в котором агент вероятнее всего окажется. Эволюция оптимизировала размножение именно таким способом: вместо того, чтобы спрашивать в каждой ситуации, какое действие даст наибольшее количество успешных отпрысков, она применяет солянку из эвристических ударов: проверенные правила, которые обычно хорошо работают. Для большинства животных это включает сексуальную потребность, утоление жажды по необходимости, утоление голода и стремление избегать всего того, что плохо на вкус или причиняет боль.

Эти проверенные правила с треском проваливаются в ситуациях, на которые они не были рассчитаны: например, когда крысы едят вкусный крысиный яд, когда мухи влипают в липкие ловушки, источающие прекрасный аромат, и когда жуки летят на свет свечи. Так как сегодняшнее человеческое общество очень отличается от того, под которое подгонялись эволюцией проверенные правила для окружающей среды, мы не должны удивляться, что наше поведение сплошь и рядом не приводит к появлению максимального количества младенцев. Например, вспомогательная цель – удовлетворение голода – зачастую провоцирует людей на потребление избытка калорий, из за чего у них развивается ожирение с последующими сложностями в личной жизни. Вспомогательная цель – размножаться – выродилась в желание просто заниматься сексом, а не раздавать сперму / яйцеклетки, несмотря на то, что последнее произвело бы большее количество детей с наименьшими усилиями.

Психология: Преследование и восстание против целей

В общих чертах живой организм является агентом ограниченной рациональности: он не преследует единственную цель, а вместо этого следует нескольким основным правилам, которые подсказывают, к чему стремиться и чего избегать. Наш человеческий разум воспринимает эти внутренние основные правила как чувства, которые зачастую (и во многом без нашего осознания) приводят наши решения к основной цели – репликации. Чувство голода и жажды предохраняет нас от голодной смерти и обезвоживания, чувство боли предохраняет нас от повреждения наших тел, вожделение заставляет нас размножаться, чувство любви и сострадания заставляют нас помогать другим и так далее. Ведомый этими чувствами, наш мозг быстро и эффективно решает, что делать, не анализируя подробно, какое именно воздействие это решение будет иметь на количество потомства. Для более подробного разбора чувств и их психологических причин я очень рекомендую работы Уильяма Джеймса и Антонио Дамасио.

Важно отметить, что если наши чувства периодически срабатывают против деторождения, это не обязательно происходит случайно или потому, что нас можно обмануть: наш мозг может протестовать против наших генов и их нацеленности на репликацию вполне осознанно – например, принимая решение использовать контрацептивы. Более экстремальным примером, когда наш мозг восстает против своей природы, может быть решение покончить с собой или провести жизнь, соблюдая целибат, став священником, монахом или монахиней.

Почему мы иногда принимаем решение противиться своей природе и ее целям по репликации? Потому что изначально, как агенты ограниченной рациональности, мы лояльны только по отношению к своим чувствам. И хотя наш мозг развился исключительно для того, чтобы помочь нашим генам копировать себя, ему абсолютно не интересна эта цель, раз у нас нет никаких чувств по отношению к нашим генам: в самом деле, на протяжении почти всей истории человечества наши предки даже и не знали о существовании этих самых генов. Более того, наш мозг намного умнее наших генов, и теперь, когда мы понимаем их цель (копирование себя), мы считаем это довольно банальным и легко игнорируем. Люди могут понимать, почему их гены заставляют их чувствовать вожделение, и все равно имеют мало желания воспитывать пятнадцать детей, а потому предпочитают “хакнуть” свою генетическую программу, совмещая эмоциональное удовольствие от интима с контролем за рождаемостью. Они могут понимать, почему их гены заставляют их желать сладкого, но не хотят поправляться, и поэтому нарушают генетическую программу, получая эмоциональное удовольствие от сладкого напитка с нулевым содержанием калорий благодаря искусственным подсластителям.

Хотя иногда такие методы взлома системы получения удовольствия работают криво – например, когда люди подсаживаются на героин, – наш человеческий набор генов до сих пор прекрасно выживает, несмотря на наш хитрый и протестующий мозг. Важно, однако, помнить, что внутренним авторитетом являются наши чувства, а не наши гены. Это означает, что человеческое поведение не в полной мере подстроено под выживание вида. На самом деле, раз наши чувства применяют исключительно основные правила, которые подходят не для всех ситуаций, человеческое поведение, строго говоря, совсем не имеет единой, четко определенной цели.

Инженерия: привлечение сторонних целей

Могут ли быть цели у машин? Этот простой вопрос вызвал горячие споры, потому что люди вкладывают в него слишком разные смыслы, касающиеся весьма колючих тем – например, таких: могут ли машины думать? могут ли у них быть чувства? А если сформулировать вопрос проще: “Могут ли машины демонстрировать целенаправленное поведение?”, – тогда ответ становится очевидным: “Конечно могут, так как мы можем их такими разработать!”. Мы можем разработать мышеловку, которая будет иметь цель ловить мышей, посудомоечную машину, у которой будет цель мыть посуду, или часы, целью которых будет показывать время. Когда сталкиваешься с машиной, фактически все, что вас волнует, – это ее очевидная цель: если за вами будет гнаться самонаводящийся по тепловому излучению снаряд, вам в принципе будет все равно, есть ли у него сознание и чувства! Если вам все еще неловко говорить, что у снаряда есть цель, даже если она не осознанная, на данный момент можно просто вместо написанного мною слова “цель” читать “предназначение” – мы вернемся к вопросу об осознании в следующей главе.

Все нами до сих пор построенное демонстрирует только целенаправленный проект, но не целенаправленное поведение: скоростное шоссе никак себя не ведет, оно просто есть. Однако наиболее экономичным объяснением его существования будет такое: оно спроектировано, чтобы достичь некой цели, так что даже такая пассивная технология делает нашу Вселенную более целенаправленной. Телеология предлагает для всякой вещи объяснение с точки зрения ее предназначения, а не ее причин, так что мы можем подытожить первую половину этой главы, сказав, что наша Вселенная становится более телеологической.

У неживой материи не только могут быть цели, по крайней мере в этом слабом смысле, но они определенно у нее есть. Если наблюдать за атомами Земли с момента образования нашей планеты, можно было бы увидеть три стадии целенаправленного поведения.

1. Все вещество занято исключительно диссипацией (энтропия растет).

2. Часть вещества стала живой, ее фокус сместился на репликацию и вспомогательные цели.

3. Живые организмы подвергли быстрорастущую часть вещества переупорядочению, чтобы это помогало им в достижении их целей.

Этот новый, третий вид целенаправленного поведения может стать намного более разнообразным, чем все предшествующие: в то время как у всякой сущности, возникшей в результате эволюции, есть только одна основная цель (репликация), у искусственно созданных сущностей могут быть любые основные цели, даже противоположные друг другу. Печь нужна, чтобы нагреть пищу, а холодильник – чтобы охладить. Электрогенератор превращает механическое движение в электричество, а электромотор превращает электричество в механическое движение. Стандартная программа по игре в шахматы старается выиграть, но есть и такие, которые участвуют в соревнованиях по поддавкам.

Таблица 7.1.

Примерное количество вещества на Земле в сущностях, которые возникли эволюционно или созданы искусственно для определенных целей. Искусственно созданные сущности, такие как здания, дороги и машины, похоже, скоро перегонят по массе сущности, возникшие в результате эволюции, такие как растения и животные.

Общий исторический тренд таков, что цели искусственно созданных сущностей не только более разнообразны, но и более сложны: наши устройства становятся умнее. У первых искусственно создаваемых нами объектов были простые цели – например, дома строились для того, чтобы нам было тепло, сухо и безопасно. Мы постепенно научились строить объекты с целями посложнее – такие, как роботизированные пылесосы, самонаводящиеся ракеты или беспилотные автомобили. Недавний прогресс в разработке искусственного интеллекта дал нам такие системы, как Deep Blue, Watson и AlphaGo, цели которых – выигрывать в шахматы, в викторинах или в го – настолько изощренны, что надо быть весьма просвещенным человеком, чтобы по достоинству оценить, насколько успешны эти системы в их достижении.

Когда мы строим машину, которая должна помогать нам, бывает сложно в полной мере привести ее цели в соответствие с нашими. Например, мышеловка может перепутать палец на нашей ноге с голодным грызуном, и это приведет к довольно болезненным последствиям. Любая машина – агент ограниченной рациональности, и даже самые сложные современные машины не так хорошо понимают мир, как мы, поэтому правила, которые они используют для того, чтобы разобраться, что к чему, зачастую довольно просты. Мышеловка срабатывает с такой неуместной поспешностью, потому что совсем не представляет себе, что такое мышь, много смертей на производствах происходит из за того, что машины совсем не представляют себе, что такое человек, и компьютеры, которые привели к мгновенному обвалу акций на Уолл стрит в 2010 году, ни малейшего представления не имели о смысле совершаемых ими действий. Многие из таких проблем с приведением целей в соответствие могут быть решены, если машины станут умнее, но, как мы знаем по опыту Прометея из четвертой главы, даже очень умные машины могут задать непростую задачу, которую необходимо решить, чтобы привести цели машины в соответствие с нашими.