r/science. R.I.P. Стивен Хокинг
r/етранслятор
Сегодня в возрасте 76 лет скончался один из величайших умов современности — физик Стивен Хокинг.
В 1963 году медики ставят ему диагноз — боковой амиотрофический склероз, и ожидают, что не проживет более двух лет. Он прожил еще 55.
Несколько лет назад вышел фильм «Вселенная Стивена Хокинга», рассказывающий о великом ученом, если вы его еще не смотрели, то советуем.
В 2015 году Хокинг провел единственную сессию вопросов-ответов AMA на реддите. В память об ученом перевели ее на русский язык. В том году Хокинг и Илон Маск выпустили заявление на тему опасностей искусственного интеллекта, так что подавляющая часть вопросов именно на эту тему.
— Вы думали о возможности технологической безработицы — когда мы изобретем автономный процесс, который в итоге вызовет повальную безработицу, потому что он будет выполнять работы быстрее и/или дешевле, чем люди? Многие сравнивают эти мысли с выступлениями луддитов, чье восстание было в частности связано с технологической безработицей более ста лет назад. Конкретнее, видите ли вы мир, в котором люди работают меньше, потому что огромная часть работы автоматизирована?
— Если машины будут производить все, что нам необходимо, результат будет зависеть от распределения этих вещей. Все могут насладиться шикарной беззаботной жизнью, если полученное от машин богатство будет разделено между всеми, или большинство людей могут оказаться за чертой бедности, если владельцы машин успешно пролоббируют законы против распределения богатства. Пока тенденция в сторону второго варианта — технологии только увеличивают и так растущее неравенство.
— Профессор Хокинг, когда я преподаю ИИ, машинное обучение или робототехнику, я с моим классом всегда возвращаемся к тому, что я называю «Разговор о Терминаторе». Я настаиваю на том, что опасность искусственного интеллекта сильно завышена СМИ и ничего не понимающими новостями. Настоящая проблема, как и в любом сложном, до конца не понятном коде, — непредсказуемость в крайних ситуациях. По-моему, это отличается от «опасного ИИ», как многие его воспринимают, тем, что у программы нет мотивов, чувствительности и злых побуждений — она всего лишь (безжалостно) пытается оптимизировать функцию, которую создали и вписали в ее код люди. Ваша точка зрения (вместе с Илоном Маском) часто представляется в медиа как «злой ИИ», хотя это не то, о чем вы говорили ранее. Студенты, которые в курсе ваших заявлений, часто противостоят моим взглядам, и в итоге у нас почти всегда выходит крайне интересный и приятный разговор. Как бы вы представили свою точку зрения моему классу? Совместимы ли наши точки зрения? Считаете ли вы, что моя привычка разрушать веру обывателя в «злой ИИ» наивна? И в конце, какую морали, по-вашему, мне стоит доносить до своих студентов, заинтересованных в ИИ?
— Вы правы — медиа часто неправильно представляет мои слова. Настоящая опасность ИИ это не злоба, но компетентность. Сверхумный ИИ будет крайне успешно достигать своих целей, и если эти цели не совпадают с нашими, то у нас проблемы. Вы, наверное, не ужасный ненавистник муравьев, который давит их из злости, но если вы находитесь во главе проекта по производству зеленой энергии на гидростанции и в зоне затопления находится муравейник, то муравьям не повезло. Давайте не ставить человечество на место этих муравьев. Убеждайте своих студентов думать не только о том, как создать ИИ, но и как убедиться в том, что он приносит пользу человечеству.
— Доктор Хокинг, какая загадка по-вашему самая интригующая и почему?
— Женщины. Моя личная помощница напоминает мне, что хоть я и кандидат наук по физике, женщины навсегда останутся для меня загадкой.
— Я студент, недавно получил степень по Искусственному интеллекту и когнитивным наукам. Изучая ИИ, я лицом к лицу столкнулся с этическими проблемами в этой сфере. Идея о сознательной или интеллектуальной системе, которая может угрожать существованию человечества, мне чужда и совсем не кажется чем-то, к чему мы приближаемся с точки зрения нейрологии и вычислительных мощностей. Я хотел спросить на счет вашего сообщения, в котором вы предупреждаете нас об опасности разумных машин — считаете ли вы, что нам стоит начать заранее готовиться к тому, что неизбежно случиться в далеком будущем?
— Именно так. Исследователи ИИ все никак не определят, насколько долго займет создание ИИ уровня человека или выше, поэтому, пожалуйста, не верьте никому, кто говорит вам, что это точно произойдет или не произойдет при вас. Когда это в конце концов произойдет, это скорее всего будет либо лучшим, либо худшим событием за все время существования человечества, так что очень много зависит от того, чтобы сделать все правильно. Нужно сместить цель с создания чистого свободного разума на создания полезного для нас интеллекта. Выяснение того, как это сделать, может занять десятилетия, так что стоит заняться изучением этого вопроса сегодня, а не в ночь перед тем, когда включат первый ИИ.
— Есть мнение, что создание не может быть умнее своего создателя. Вы согласны? Если да, то как по-вашему ИИ может угрожать человеческой расе? Если же нет, то как бы вы определили черту, за которой стоит остановиться? Другими словами, насколько умным человечество может сделать ИИ, чтобы тот не представлял ему угрозы и не обогнал в интеллекте?
— Очевидно, что создание может быть умнее своего предшественника — мы явно эволюционировали умнее, чем наши предки-приматы, а Эйнштейн был явно умнее своих родителей. Та черта, о которой вы спрашиваете, — это черта, за которой ИИ сможет сам создать ИИ лучше, чем это сделал человек, и циклически самосовершенствоваться без помощи человека. Если это случиться, мы можем стать свидетелями взрыва интеллекта, который в итоге приведет к тому, что будут существовать машины, для которых наш уровень интеллекта будет как уровень интеллекта улитки для нас.
— Я хотел бы спросить профессора Хокинга на немного другую тему. Вопросов о науке предостаточно, так что я хочу узнать:
Ваша любимая песня из всех существующих?
— «Have I Told You Lately», Rod Stewart
— Ваш любимый фильм из всех существующих?
— Жюль и Джим (Jules et Jim), 1962 год.
— Что из последнего, увиденного вами, заставило вас смеяться?
— «Теория Большого взрыва».
— Я недавно думал на тему тяги биологических организмов к репродукции и выживанию, и как эта тяга способствовала эволюции на протяжении миллионов поколений. Будут ли у ИИ подобные врожденные побуждения, и если нет, будет ли ИИ угрозой человечеству?
— ИИ, который был результатом не эколюции, но дизайна, в принципе может обладать любыми побуждениями и целями. Тем не менее, Стив Омоандро обратил внимание на то, что чрезвычайно умный ИИ в будущем скорее всего разовьет тягу к выживанию и получению большего количества ресурсов как шаг на пути к своим целям, потому что выживание и большое количество ресурсов повышают его шансы на достижение цели. Это может вызвать проблему у людей, чьи ресурсы он решит забрать.
— Я — биолог. Ваш страх перед ИИ по-моему произрастает из понимания того, что ИИ будет вести себя как новый биологический вид, сражаясь за те же ресурсы или преобразуя планету так, что человечество или другие виды не смогут на ней жить. Причина, по которой биологические виды сражаются за выживание таким образом, состоит в том, что они прошли триллионы лет отбора за счет повышения репродукции. По сути биологические организмы созданы для того, чтобы перенимать как можно больше. Проще говоря, это их «призвание». Но я не думаю, что это относится и к ИИ. Нет никаких оснований полагать, что ИИ будет необходимо размножаться. Я не знаю, в чем будет их интерес, но точно не в этом. Я хотел бы узнать, в чем по-вашему будет заключаться их интерес, и перевешивает ли опасность человечеству пользу от создания существа типа доброго Бога.
— Вы правы — мы должны избегать соблазнения антропоморфизировать и предполагать, что ИИ будет обладать целями, схожими с эволюционировавшими существами. В остальном, ответ совпадает с предыдущим.