В защиту сингулярности. Почему нельзя предсказать эмпирические факты через психоанализ?
ЧЁРНЫЙ ЯЩИК
Допустим, мы доживём до появления ИИ, достаточно умного для того, чтобы он мог делать такую же работу по улучшению ИИ, которую делают люди. Он может подстраивать себя, программировать, придумывать новые алгоритмы. Улучшаться. Что будет дальше – он станет умнее, увидит ещё больше возможностей для улучшения, и быстро доберётся до очень высокого уровня? Или ничего особенного не случится?
Может случиться, что (А) самоулучшение на некую дельту сделает ИИ достаточно умным, чтобы он мог оглянуться назад и найти новое потенциальное улучшение размера к*дельта, где к > 1, и это будет повторяться достаточно много раз, чтобы привести к быстрому самоулучшению до уровня сверхинтеллекта. То, что Ирвинг Джон Гуд называл «взрывом интеллекта». Или же (В), к меньше единицы или все эти улучшения малы и не приводят к появлению сверхинтеллекта, или сверхинтеллект вообще невозможен, и вместо взрыва будет пшик. Что истинно, А или В? Если вы построите ИИ определённого уровня и он попытается это сделать, в эмпирическом реальном мире что-то произойдёт, и это событие будет определяться фактами, касающимися ландшафта алгоритмов и достижимых улучшений.
Нельзя получить надёжную информацию об этом событии из психоанализа людей. Это как пытаться запустить машину без горючего – то, о чём нам говорит теорема Байеса. Некоторые люди всегда будут эскапистами, вне зависимости от реальных значений скрытых переменных в информатике, так что наблюдение за некими эскапистами нельзя назвать строгим доказательством.
Это неправильное представление о природе рациональности – что рационально верить в то, что «гоблины в шкафах не существуют» потому, что вера в гоблинов из шкафа глупа, незрела, устарела, и в это верят только идиоты. Настоящий принцип рациональности – пойти и проверить в шкафу. Так что в тех вселенных, где гоблины живут в шкафах, вы будете верить в гоблинов, а во вселенных, где гоблинов в шкафах нет, вы не будете в них верить.
Сложно, но в принципе возможно попытаться заглянуть через приоткрытую дверь и спросить: «Что во Вселенной было бы другим, если бы нельзя было получать хороший доход с когнитивных инвестиций, то есть, ИИ, пытающийся улучшить себя, закончил бы не взрывом, а пшиком? Какие ещё факты были бы характерны для такой вселенной?»
Есть люди, утверждающие, что ИИ можно будет поднять только до уровня человека, поскольку мы и сами люди, а выше мы поднят него не сможем. Мне кажется, что если наша вселенная такова, то мы должны наблюдать уменьшение дохода от инвестиций в железо и ПО для компьютерных шахмат, превосходящих уровень человека – чего на самом деле не происходит. Кроме того, естественному отбору тогда не удалось бы создать человека, а мать Эйнштейна должна была быть потрясающим физиком, и т.д. и т.п.
Есть люди, утверждающие, что чем сложнее алгоритм, тем больше ему нужно подстроек, и что наш интеллект служит неким ограничением для этого процесса. Но это не сходится с антропологическими записями человеческого интеллекта; инвестиции в подстройку мозга и мутаций дают усиление когнитивных возможностей. Мы знаем, поскольку генетика говорит нам, что мутации с малым статистическим откликом не закрепляются при эволюции.
И гоминидам не потребовался экспоненциально больший мозг, чем у шимпанзе. И голова Джона фон Неймана не была экспоненциально больше, чем голова среднего человека.
С чисто практической точки зрения, аксоны человека передают информацию со скоростью в миллион раз меньшей, чем скорость света, и даже с точки зрения рассеивания тепла каждая синаптическая операция потребляет в миллион раз больше минимального теплового рассеивания необратимой бинарной операции при 300 Кельвинах, и так далее. Почему мы должны считать, что ПО мозга ближе к оптимуму, чем железо? Привилегия человеческого интеллекта состоит в том, что это наименьший уровень интеллекта, способный создать компьютер. Если бы было возможно создать компьютер с меньшим уровнем интеллекта, мы бы обсуждали это на меньшем уровне.
Но это не простой спор, и за детальным описанием я отправляю людей к одной из старых моих работ, «Микроэкономика взрыва интеллекта», которая, к сожалению, всё ещё служит лучшим источником информации. Но именно такие вопросы нужно задавать, чтобы, используя имеющиеся доказательства, рассуждать о том, увидим ли мы взрыв ИИ, при котором некое улучшение познавательных способностей, инвестированное в самооптимизацию, даст прирост, превышающий это улучшение.
Что касается по поводу возможностей и их цены:
Можно представить себе мир без взрыва интеллекта и без сверхинтеллекта. Или мир, где трюки, которые эксперты по машинному обучению будут использовать для контроля сверх-ИИ, подойдут для контроля людей и сверхчеловеческого режима. Или мир, где работает моральный интернализм, поэтому все достаточно продвинутые ИИ – добрые. В таких мирах вся работа и всё беспокойства Института исследований машинного обучения никому не нужны. И несколько москитных сеток было потрачено зря, и лучше было отдать их в фонд борьбы с малярией.
Также можно представить себе мир, в котором вы боретесь с малярией, боретесь и удерживаете выбросы углекислоты на должном уровне, или используете геоинженерные решения для нейтрализации уже сделанных ошибок. И всё это оказывается бесполезным, поскольку цивилизация оказывается неспособной решить проблему морали ИИ – и все дети, спасённые от малярии при помощи сеток, вырастают, только чтобы наномашины убили их во сне.
Я думаю, что люди, пытающиеся заниматься разумной благотворительностью, согласятся с тем, что мы не хотели бы жить ни в одном из этих миров. Вопрос лишь в том, какой из них более вероятен. Центральный принцип рациональности – не отвергать веру в гоблинов, поскольку это глупо и непрестижно, и не верить в гоблинов, потому что это здорово и красиво. Центральный принцип рациональности – какие наблюдаемые знаки и логические выводы помогут нам выбрать один из двух этих миров.
Я думаю, что первый мир маловероятен, а второй – вероятен. Я понимаю, что попытки убедить в этом других – это попытки плыть против течения веры в вечную нормальность. Веры в то, что только наша кратковременная цивилизация, существующая несколько десятилетий, и только наш вид, существующий всего мгновение по эволюционной и геологической шкалам, имеют смысл и обязаны существовать вечно. И хотя я считаю, что первый мир – это всего лишь оптимистичная мечта, я не считаю, что нужно игнорировать проблему, по поводу которой в будущем мы будем ударяться в панику.