Революция искусственного интеллекта: вымирание или бессмертие. Часть 1

Часть I | Часть II | Часть III

Перед нами стоит чрезвычайно сложная задача. Неизвестно, сколько времени уйдет на ее решение, но от этого, весьма вероятно, зависит будущее нашего биологического вида.

— Ник Бостром

Добро пожаловать во вторую часть цикла «Как так получилось, что об этом не говорят на каждом шагу?».

Первая часть начиналась вполне безобидно: мы поговорили о слабом ИИ (такие системы специализируются на выполнении одной задачи: например, выбирают оптимальный маршрут или играют в шахматы) и выяснили, что он уже окружает нас повсюду. Ещё мы разобрались, почему так сложно сделать из слабого ИИ сильный (возможности таких систем во всех сферах либо сравнимы с возможностями человека, либо превосходят их), и почему в силу экспоненциального характера развития технологий сильный ИИ может появиться гораздо раньше, чем кажется. В конце первой части я напугал вас тем, что как только наши системы достигнут человеческого уровня, произойдет следующее:

Остается только уставиться в экран один на один с неуютной мыслью о том, что искусственный сверхразум (система, которая гораздо умнее человека во всех областях) могут разработать еще при нашей жизни, в попытке понять, какие эмоции по этому поводу испытывать.

Аудиоверсия статьи: Podster | iTunes | YouTube | Telegram | VK | Spotify

Перед тем как углубиться в детали, давайте вспомним, что вообще считать искусственным сверхразумом.

Различают скоростной сверхразум и качественный сверхразум. В представлении многих людей сверхразумная система — это компьютер, который способен мыслить как человек, только в миллион раз быстрее. Там, где человек будет трудиться десять лет, система разберется за пять минут.

Впечатляет. Сверхразум и правда будет мыслить быстрее любого из нас, но по-настоящему отличаться от человеческого он будет по качеству, а это совсем другое. Люди намного умнее обезьян не потому, что быстрее соображают, а потому что мозг человека содержит ряд хитроумных когнитивных модулей, которые ответственны за сложные языковые представления явлений реального мира, долгосрочное планирование, абстрактное мышление, — а у обезьян их нет. Если разогнать мозг обезьяны в тысячу раз, умнее человека она не станет: ей и за десять лет не склеить из деталей замысловатую сборную модель — человек справится за пару часов. Человек наделен массой когнитивных умений, которые обезьяне не освоить, сколько бы времени она ни потратила.

Но дело не в том, что шимпанзе не умеют делать то, что умеем мы, — их мозг не в состоянии понять, что эти умения вообще существуют. Шимпанзе могут усвоить, что такое человек и что такое небоскреб. Но им никогда не понять, что небоскребы построили люди. В их понимании объекты такого размера — часть окружающего мира. Точка. Они не в силах не то что построить небоскреб, но и додуматься, что небоскреб вообще кому-то под силу построить. И все из-за небольшой разницы в качестве интеллекта.

На фоне сверхразума, да и по меркам биологических существ, разница в качестве интеллекта человека и обезьяны крошечная. В одном из прошлых постов я изобразил диапазон когнитивных способностей живых организмов в виде лестницы:

Чтобы осознать всю серьезность появления искусственного сверхразума, поместите его на две ступеньки выше человечка на картинке. Это будет не самый мощный сверхразум, но по когнитивным способностям он будет превосходить нас так же, как и мы — обезьян. Шимпанзе недоступна мысль о рукотворности небоскребов, мы же не сможем понять, на что будет способна система на темно-зеленой ступеньке — даже если она попытается нам это объяснить. О том, чтобы это повторить, даже речи не идет. А разница всего в две ступеньки. Для системы за две ступеньки до конца лестницы мы — муравьи: она может годами учить нас простейшим (с ее точки зрения) вещам и не добиться успеха.

Возможности сверхразума, о котором мы поговорим сегодня, лежат далеко за пределами этой лестницы. При взрывном развитии интеллекта (чем умнее становится система, тем быстрее она совершенствует свой интеллект, пока тот не взмоет ввысь) системе могут понадобиться годы, чтобы превзойти в интеллекте шимпанзе, но всего пара часов, чтобы перепрыгнуть через нашу ступеньку и ступить на темно-зеленую. Через десять шагов от нас система будет преодолевать по четыре ступеньки в секунду. Поэтому необходимо уяснить следующее: вскоре после того, как выйдет сенсационная новость о создании первой системы ИИ человеческого уровня, мы с большой вероятностью будем сосуществовать на одной планете с объектом, который занимает на лестнице вот это место (а может быть, и в миллион раз выше):

А поскольку мы установили, что совершенно бесполезно пытаться понять возможности системы, которая всего на две ступеньки выше нас, давайте запомним раз и навсегда: узнать, как поведет себя искусственный сверхразум и чем это для нас обернется, невозможно. Любой, кто заявляет обратное, просто не понимает, что такое сверхразум.

Эволюция развивала биологический мозг медленно и постепенно сотни миллионов лет, и если люди создадут машину со сверхразумом, мы превзойдем эволюцию в плане скорости. А может, эволюция так и работает: уровень интеллекта ползет все выше, и достигнув некоторого уровня, изобретает искусственный сверхразум. Этот уровень ознаменует переломный момент, предвещающий новое будущее для всех живых существ.

По ряду причин, о которых мы поговорим позже, значительная часть научного сообщества считает, что вопрос не в том, доберемся ли мы до переломного момента. Вопрос в том, когда. С ума сойти.

Давайте оценим наше положение.

Думаю, никто в этом мире (уж точно не я) не сможет сказать, что случится, когда наступит переломный момент. Философ из Оксфорда, ведущий теоретик ИИ Ник Бостром считает, что все возможные исходы можно свести к двум большим категориям.

Во-первых, история показывает, что жизнь устроена следующим образом: биологический вид появляется на свет, некоторое время балансирует, как на гимнастическом бревне, но затем неизбежно падает — вымирает.

На протяжении истории правило «любой биологический вид однажды вымрет» подтверждалось не реже, чем правило «все люди смертны». К настоящему моменту на Бревне бытия не удержалось 99,9% видов. И совершенно очевидно, что если какой-то вид еще ковыляет по Бревну, его вот-вот столкнет какой-нибудь природный катаклизм или залетный астероид. Бостром называет вымирание точкой притяжения — все виды непременно туда упадут, вернутся же не дано никому.

И хотя большинство ученых признает, что сверхразум будет в состоянии обречь людей на вымирание, многие верят, что есть шанс использовать его во благо и открыть для отдельных людей (и вида в целом) путь ко второй точке притяжения — видовому бессмертию. Бостром считает, что бессмертие (как точка притяжения) ничем не отличается от вымирания. Если мы до него доберемся, мы будем обречены на вечное существование: победим смертность и одержим верх над случаем. Таким образом, несмотря на то, что до сих пор с Бревна падали все без исключения виды, Бостром считает, что у Бревна два края, и просто не появился на Земле такой интеллект, который придумал бы, как падать в другую сторону.

Если Бостром и другие теоретики правы (а судя по тому, что я читал, так и есть) нам нужно уяснить два факта, от которых захватывает дух:

1. Разработка искусственного сверхразума впервые в истории откроет возможность для одного из видов упасть с Бревна бытия в сторону бессмертия.

2. Разработка искусственного сверхразума станет для человечества доселе невиданным потрясением и с большой вероятностью столкнет человечество с Бревна либо в одну, либо в другую сторону.

Вполне возможно, что когда эволюция достигнет переломного момента, она разорвет связь людей с Бревном бытия и создаст один из двух миров: либо с людьми, либо без них.

Получается, для ныне живущих есть лишь два наиболее актуальных вопроса: «когда наступит переломный момент?» и «куда мы в этом случае упадем?».

Никто в мире не знает ответа ни на тот, ни на другой. Однако кое-кто из умнейших людей планеты десятилетиями пытался эти ответы найти. Оставшуюся часть статьи мы будем выяснять, к чему они пришли.

***

Начнем с первого вопроса: когда ждать переломного момента? Другими словами, сколько осталось времени до того, как первая система достигнет уровня сверхразума?

Вполне ожидаемо, мнения разнятся довольно сильно, среди ученых и теоретиков идет бурная дискуссия. Многие, в том числе профессор Вернор Виндж, ученый Бен Герцель, соучредитель Sun Microsystems Билл Джой, изобретатель и футуролог Рэй Курцвейл, согласились с экспертом в области машинного обучения Джереми Ховардом, который во время выступления на конференции TED представил следующий график:

Эти люди разделяют мнение, что сверхразум появится скоро: возможности ИИ растут экспоненциально. Сейчас алгоритмы машинного обучения только подбираются к нашему уровню, но уже лет через 30 оставят нас далеко позади.

А вот соучредитель Microsoft Пол Аллен, психолог-исследователь Гэри Маркус, специалист по информатике из Нью-Йоркского университета Эрнест Дэвис и технопредприниматель Митч Капор считают, что теоретики вроде Курцвейла серьезно недооценивают сложность задачи, и что переломный момент не так уж и близко.

Лагерь Курцвейла возражает, что если что-то и недооценивается, так это экспоненциальный характер роста. Сомневающихся сравнивают с теми, кто в 1985 году утверждал, что неспешно расцветающий интернет в ближайшем будущем никак не повлияет на нашу жизнь.

«Сомневающиеся» парируют: экспоненциальный характер развития интеллекта нивелируется за счет того, что сложность оборудования для его поддержания на каждом последующем шаге также будет расти экспоненциально. И так далее в том же духе.

Третий лагерь, куда входит Ник Бостром, не согласен ни с первыми, ни со вторыми, и считает, что: а) это абсолютно точно может произойти в ближайшем будущем; и б) никаких гарантий этому нет: возможно, потребуется больше времени.

Другие же, например, философ Хьюберт Дрейфус считают наивным полагать, что переломный момент вообще случится: скорее всего, до сверхразума мы никогда не доберемся.

Что получится, если сложить все эти мнения вместе?

В 2013 году в ходе ряда конференций Ник Бостром и Винсент С. Мюллер задали нескольким сотням экспертов в сфере искусственного интеллекта следующий вопрос: «При условии, что научную деятельность человечества ничто серьезным образом не прервет, назовите год, когда с вероятностью P будет разработан ИИ человеческого уровня». Нужно было сделать три предположения: оптимистичное (сильный ИИ разработают с вероятностью 10%), реалистичное (с вероятностью 50%) и уверенное (с вероятностью 90%). Вот результаты:

Медиана оптимистического прогноза (P=10%): 2022 год

Медиана реалистичного прогноза (P=50%): 2040 год

Медиана пессимистичного прогноза (P=90%): 2075 год

Таким образом, ученые склоняются к тому, что сильный ИИ, скорее всего, появится уже через 25 лет. Половина экспертов в области ИИ практически уверена, что сильный ИИ разработают в 2075 году. Это значит, что современные подростки его точно застанут.

На ежегодной конференции Бена Герцеля, посвященной сильному ИИ, Джеймс Баррат провел отдельное исследование. Он обошелся без оценки вероятности и просто просил респондентов ответить, когда разработают сильный ИИ. На выбор предлагались пять вариантов: к 2030 году, к 2050‑му, к 2100-му, еще позже или никогда. Вот результаты:

К 2030 году: 42% респондентов

К 2050 году: 25%

К 2100 году: 20%

Еще позже: 10%

Никогда: 2%

Похоже на результаты Бострома и Мюллера. В опросе Баррата более двух третей опрошенных считают, что сильный ИИ появится к 2050 году, и менее половины считают, что это произойдет в ближайшие 15 лет. Также бросается в глаза то, что только 2% опрошенных в принципе не считают сильный ИИ частью нашего будущего.

Однако переломный момент случится не с разработкой сильного ИИ, а с разработкой искусственного сверхразума. Когда, по мнению специалистов, разработают его?

Мюллер и Бостром опросили экспертов, с какой вероятностью искусственный сверхразум разработают: а) через два года после разработки сильного ИИ (то есть взрывное развитие интеллекта произойдет почти мгновенно) или б) через 30 лет.

Для быстрого перехода от сильного ИИ к сверхразуму медиана оказалась в районе 10-процентной вероятности, для перехода через 30 лет или меньше — 75-процентной.

Из этих данных непонятно, о какой длительности перехода можно говорить с вероятностью 50%. На основе двух ответов выше давайте допустим, что на это уйдет 20 лет. Таким образом, научное сообщество в среднем считает, что переломный момент случится в 2060 году (cильный ИИ появится в 2040 году + понадобится еще 20 лет на переход к сверхразуму).

Конечно, все вышеперечисленные оценки носят спекулятивный характер и просто отражают мнение экспертов в сфере искусственного интеллекта. Однако это свидетельствует о том, что большинство сведущих людей сходятся во мнении: сверхразум, способный изменить жизнь на Земле, скорее всего, будет разработан к 2060 году. Всего через 45 лет.

Перейдем ко второму вопросу. Переломный момент наступил, куда мы упадем?

Сверхразум будет обладать колоссальной мощью, поэтому критически важно понять: кто или что будет эту мощь контролировать и с какой целью?

Ответ на этот вопрос определит, какое развитие получит искусственный сверхразум: станет он величайшим благом или смертоносным оружием.

Конечно, среди экспертов нет единого мнения, и вокруг этого вопроса споры также не утихают. В своем опросе Мюллер и Бостром просили участников оценить вероятность возможных последствий появления сильного ИИ, и выяснилось, что в среднем с вероятностью 52% все обернется хорошо или очень хорошо, и с вероятностью 31% — плохо или очень плохо. Относительно нейтральный исход возможен с вероятностью 17%. Иными словами, специалисты уверены в том, что появление сильного ИИ станет грандиозным событием. Также стоит отметить, что этот опрос касался появления сильного ИИ. Если бы речь шла о сверхразуме, вероятность нейтрального исхода была бы еще ниже.

Прежде чем мы углубимся в рассуждения о плохом и хорошем исходах, давайте объединим ответы на оба вопроса в таблицу, которая охватывает взгляды большинства специалистов.

О главном лагере поговорим через мгновение, но сначала определитесь со своей позицией. Хотя... я и так знаю. До того как я начал изучать вопрос, у меня была такая же. Есть несколько причин, по которым люди вообще не думают на эту тему:

• Как уже упоминалось в первой части, фильмы порядком всех запутали. Из-за нереалистичных сценариев с участием искусственного интеллекта мы вообще перестали воспринимать ИИ всерьез. По выражению Джеймса Баррата, это как если бы центры по контролю и профилактике заболеваний всерьез предупреждали бы о скорой эпидемии вампиризма.
• В силу так называемых когнитивных искажений нам очень трудно поверить в реальность какого-то явления, пока мы не увидим доказательств. Уверен, в 1988 году специалисты регулярно обсуждали далеко идущие последствия развития интернета, но вряд ли кто-то считал, что это сильно повлияет на повседневную жизнь. Отчасти потому, что в 1988 году компьютеры много чего не умели. Люди смотрели на них и думали: «Серьезно? И эти штуки изменят мир?». Их воображение было ограничено тем, чему их научил личный опыт: они знали, что такое компьютер, и было сложно представить, на что компьютер станет способен в будущем. То же самое происходит сейчас с ИИ. Мы слышали, что разработка ИИ станет грандиозным событием, но поскольку мы пока не столкнулись с ним лицом к лицу, и в целом наблюдаем довольно слабые проявления ИИ в современном мире, нам довольно трудно поверить, что он кардинально изменит нашу жизнь. Именно против этих предубеждений выступают многочисленные эксперты, отчаянно пытаясь достучаться до нас сквозь повседневный шум поглощенности собой.
• Даже если во все это поверить, проблема остается. Скажите, сколько раз за сегодня вы задумывались о том, что проведете остаток вечности в небытие? Немного, согласитесь. Хотя это гораздо важнее всего, чем вы обычно заняты. Все потому, что наш мозг чаще сосредоточен на повседневных мелочах, какие бы безумные перспективы ни сулило нам будущее. Так уж мы устроены.

Одна из целей настоящей статьи — вывести вас из лагеря под названием «У меня других дел навалом» и поместить в один из лагерей к экспертам (даже если вы стоите в месте пересечения двух пунктирных линий на квадрате выше, и не можете определиться).

В ходе исследования я натыкался на десятки разнообразных мнений по этой теме. Однако большинство из них составляют «главный лагерь», при этом три четверти приходятся на два лагеря поменьше в составе главного.

Мы тщательно изучим оба этих лагеря. Начнем с того, что повеселее…

Почему будущее может оказаться пределом наших мечтаний

По мере изучения мира ИИ я обнаружил, что на удивление много людей находятся вот в этом углу схемы:

Правый верхний угол гудит от предвкушения. Внимание здешних экспертов приковано к светлой стороне Бревна, и они уверены, что именно туда нам и дорога. По их мнению, в будущем нас ждет все, о чем только можно мечтать, — дай лишь срок.

От других теоретиков (о них чуть позже) их отличает не желание поскорее оказаться по счастливую сторону от Бревна, а уверенность, что именно туда мы и приземлимся.

Откуда эта уверенность берется — вопрос спорный. Критики считают, что предвкушение ослепляет: потенциальные негативные стороны замалчиваются или отрицаются. А сторонники говорят, что мрачные прогнозы всегда наивны: технологии как помогали, так и будут помогать нам больше, чем вредить.

Мы рассмотрим обе точки зрения, и вы сможете составить о ситуации собственное мнение. А пока умерьте скептицизм и давайте хорошенько разберемся, что нас ждет на счастливой стороне. Постарайтесь при этом принять тот факт, что все, изложенное ниже, может произойти на самом деле. Если показать охотникам-собирателям мир, где царят уют, технологии и бесконечное изобилие, он покажется им волшебной сказкой. Поэтому и нам нужно быть поскромнее и признать, что нас в будущем может ждать столь же непостижимая трансформация.

Ник Бостром описывает три роли, которые в будущем могут быть отведены искусственному сверхразуму:

• «Оракул» точно отвечает на любой поставленный вопрос, в том числе сложный, на который людям не просто найти ответ («Как сделать более эффективный автомобильный двигатель?»). Google — примитивный тип «оракула».
• «Джинн» выполняет любую высокоуровневую команду и переходит в режим ожидания («Возьми молекулярный ассемблер и создай новую, более эффективную конструкцию автомобильного двигателя).
• «Монарх» получает более абстрактную цель и свободу действий. Каждый отдельный шаг он продумывает сам. («Изобрети личное средство передвижения, которое будет быстрее, дешевле и безопаснее, чем автомобиль»).

Людям эти вопросы и задачи кажутся сложными, но для сверхразума все будет выглядеть по-другому. Чтобы это прочувствовать, представьте, что вас просят разработать план по возвращению в работу упавшего карандаша. Справитесь? Поднимаем и кладем на стол.

Элиезер Юдковский (сам он на графике находится в «зоне тревоги») хорошо подметил:

Сложных проблем не существует — есть лишь проблемы, которые сложны для определенного уровня интеллекта. Даже небольшой шажок [в развитии интеллекта] переводит часть проблем из статуса «неразрешимых» в статус «очевидных». Чтобы очевидными стали они все, нужно шагнуть на нужное расстояние.

В «зоне комфорта» много увлеченных изобретателей, ученых и бизнесменов. Но на роль проводника в мир радужных представлений о будущем нам нужен лишь один.

Рэй Курцвейл вызывает двоякие ощущения. Некоторые боготворят его идеи, другие презирают. Третьи держатся посередине: Дуглас Хофштадтер красноречиво описал идеи Курцвейла как «кучу вкусной еды, которую перемешали с собачьими экскрементами, и теперь непонятно что где».

Как бы к его идеям ни относились, равнодушным они никого не оставляют. Он начал изобретать еще в подростковом возрасте, и в итоге стал автором ряда прорывных технологий: на его счету первый планшетный сканер, первый сканер, переводящий текст в речь, хорошо известный синтезатор Kurzweil (первое настоящее электропианино), а также первый коммерчески успешный распознаватель речи со словарем большого размера. Еще он автор пяти национальных бестселлеров.

Курцвейл известен своими смелыми прогнозами, многие из которых подтвердились. В конце 80-х, когда интернет был чем-то непонятным, он предположил, что к нулевым сеть станет явлением глобального масштаба. The Wall Street Journal назвал Курцвейла «беспокойным гением», Forbes — «совершенной мыслящей машиной», Inc. Magazine — «законным наследником Эдисона», Билл Гейтс — «непревзойденным предсказателем будущего ИИ». В 2012 году сооснователь Google Ларри Пейдж пригласил Курцвейла на пост технического директора. В 2011 году он стал соучредителем Университета Сингулярности, созданного под эгидой НАСА (частично его спонсирует Google).

Неплохо для одного человека.

С его биографией важно ознакомиться, потому что когда Курцвейл рассказывает о своем видении будущего, это похоже на бред сумасшедшего. Тем удивительнее узнать, что он далеко не безумец — он здравомыслящий, осведомленный и вообще не последний в мире человек. Можно считать, что он ошибается в прогнозах, но умалишенным его не назовешь. Я очень рад, что ему можно доверять, потому что, когда читаешь его прогнозы (многие из них разделяют и другие эксперты из «зоны комфорта»: например, Питер Диамандис, Бен Герцель), очень хочется, чтобы они сбылись. Попробуйте. Нетрудно понять, почему у него так много страстных поклонников (так называемых «сингуляритян»).

Вот что, по его мнению, произойдет.

Хронология

Курцвейл считает, что сильный ИИ разработают к 2029 году, а к 2045 у нас будет не просто искусственный сверхразум — возникнет совершенно новый мир. Именно это время он называет сингулярностью. Его хронология развития ИИ до сих пор считается возмутительно смелой, хотя за последние 15 лет быстрое развитие систем слабого ИИ заставило многих экспертов перейти на сторону Курцвейла. Его прогнозы по-прежнему более амбициозны, чем медианный результат в опросе Бострома (сильный ИИ получим к 2040-му, сверхразум — к 2060-му), но не намного.

По Курцвейлу, к сингулярности в 2045 году приведут три одновременных революции в сферах биотехнологий, нанотехнологий и, прежде всего, ИИ.

Нанотехнологии постоянно всплывают в материалах, посвященных искусственному интеллекту. Поэтому, перед тем как продолжить, давайте уделим минутку им…

Несколько слов о нанотехнологиях

Нанотехнологиями называют технологии, которые предполагают работу с материей размерами от 1 до 100 нанометров. Нанометр (нм) — это одна миллиардная метра или миллионная часть миллиметра. В диапазон от 1 до 100 нм входят вирусы (100 нм в диаметре), ДНК (10 нм в ширину), крупные молекулы (гемоглобин, 5 нм), и молекулы средних размеров (глюкоза, 1 нм). Если/когда нанотехнологии станут нам подвластны, следующий шаг — работа с отдельными атомами, которые меньше всего на один порядок (~0,1 нм).

Чтобы понять, в чем сложность работы с материей такого размера, давайте представим то же самое в больших масштабах. Международная космическая станция находится на расстоянии 431 км от Земли. Если бы люди были великанами и головой задевали МКС, они были бы в 250 000 раз больше, чем сейчас. Если увеличить диапазон от 1 до 100 нм в 250 000 раз, получим диапазон от 0,25 мм до 2,5 см. Нанотехнологии позволят этим великанам собирать сложные объекты из материалов, размеры которых варьируют от диаметра песчинки до диаметра глазного яблока. На уровне работы с отдельными атомами великану придется аккуратно располагать в пространстве объекты размером в 1/40 миллиметра: их можно разглядеть только в микроскоп.

Впервые о нанотехнологиях заговорил Ричард Фейнман. На лекции в 1959 году он сказал: «Известные нам принципы физики не запрещают создавать объекты «атом за атомом»... физики, в принципе, действительно могут научиться синтезировать любое вещество, исходя из записанной химической формулы. Химики будут заказывать синтез, а физики — просто «укладывать» атомы в предлагаемом порядке». Проще простого. Если разобраться, как передвигать отдельные молекулы или атомы, станет возможно абсолютно все.

Нанотехнологии стали серьезным полем для исследования в 1986 году: инженер Эрик Дрекслер представил их основы в своей главной книге «Машины создания». Однако сам Дрекслер считает, что те, кто хочет узнать больше о современных идеях в нанотехнологиях, должны прочитать его книгу 2013 года «Полное изобилие» (Radical Abundance).

Несколько слов о «серой слизи»

Как вам одна врезка внутри другой? Почему бы и нет.

А попали мы сюда потому, что говоря о нанотехнологиях нельзя не затронуть еще одну не самую приятную тему. В ранних версиях теории нанотехнологий был предложен метод наносборки — создания триллионов крошечных нанороботов, которые будут скоординированно что-то создавать. Произвести триллионы нанороботов можно, например, так: создать одного, который сможет делать собственные копии. Из одного такого робота получится два, из двух — четыре, из четырех — восемь. Несколько триллионов наберется уже за день. Такова сила экспоненциального роста. Умно придумано.

Так кажется ровно до тех пор, пока этот процесс случайно не приведет к полному и окончательному апокалипсису. Проблема в том, что сила экспоненциального роста предоставляет удобный способ быстрого создания триллиона наноботов, но при этом делает саморепликацию не самой приятной перспективой. Что если в системе произойдет сбой, и вместо того, чтобы остановить репликацию на паре триллионов, наноботы продолжат плодиться? Для поддержания процесса репликации наноботам нужно будет поглощать любой углеродсодержащий материал, а вся жизнь на Земле как раз из углерода и состоит. В биомассе Земли 10^45 (10 в 45-й степени) атомов углерода. В наноботе будет порядка 10^6 атомов углерода, поэтому 10^39 наноботов сожрут всю жизнь на Земле, и это случится всего за 130 репликаций (2^130 это чуть больше 10^39). Планету наводнит океан наноботов (та самая «серая слизь»). Ученые думают, что наноботы смогут реплицироваться за 100 секунд, а это значит, что простая ошибка может убить всю жизнь на Земле всего за три с половиной часа.

Может быть и хуже: если до нанотехнологий доберутся террористы и сумеют их перепрограммировать, они смогут создать несколько триллионов наноботов и дать им команду тихо и равномерно разлететься по миру за пару недель. Затем, по одному нажатию кнопки они съедят всю планету всего за полтора часа. Ввиду их равномерного распределения по планете остановить их будет невозможно.

Этот вариант развития событий широко обсуждался в течение многих лет, но хорошая новость в том, что это всего лишь страшилка. Вот что написал мне по этому поводу автор термина «серая слизь» Эрик Дрекслер: «Люди любят страшилки, и эта входит в один ряд с сюжетами про зомби. Только в этом случае мозги пожирает сама идея».

С помощью нанотехнологий мы сможем производить технические устройства, одежду, продукты питания, разнообразные биоматериалы: искусственные клетки крови, истребителей вирусов и раковых клеток, мышечную ткань — да все что угодно. В мире нанотехнологий стоимость материала не будет зависеть ни от того, насколько он часто встречается, ни от сложности производственного процесса — только от его атомной структуры. Производство алмазов может стать дешевле, чем производство ластиков для карандашей.

В этот мир мы еще не попали. Возможно, мы недооцениваем связанные с этим сложности, возможно, — переоцениваем. Но осталось не так уж и долго. По прогнозам Курцвейла, это произойдет к 2020 году. Понимая, что нанотехнологии могут изменить жизнь на планете, правительства государств вкладывают в их изучение миллиарды долларов (США, ЕС и Япония уже инвестировали в общей сложности порядка $5 млрд).

Только представьте, что сверхразум получит доступ к полноценному наносборщику. А ведь их придумал человек, и даже еще не приручил. А поскольку для искусственного интеллекта наши разработки — детский лепет, приходится предположить, что он сможет изобрести гораздо более мощные технологии, которые людям познать будет не под силу. Поэтому при ответе на вопрос «Чем обернется для нас революция ИИ?» невозможно переоценить масштабы грядущего. Даже если последующие прогнозы касательно сверхразума покажутся вам преувеличенными, помните: они могут воплотиться в жизнь способами, какие мы и представить себе не можем. Скорее всего, предсказать что-то подобное наши мозги тоже не в состоянии.

Статья не влезла в одну страницу, продолжение по ссылке.