Как Илон Маск и Y Combinator не позволят искусственному интеллекту захватить мир

Ссылка на оригинал

Они финансируют новую организацию OpenAI, чтобы разработать самую совершенную форму искусственного интеллекта и подарить её людям.

В сфере разработки искусственного интеллекта и так полным ходом идёт борьба среди таких гигантов, как Google, Apple, Facebook, Microsoft и автопроизводителей вроде Toyota за звание лучшего исследователя, а теперь среди них появилась тёмная лошадка. Некоммерческое предприятие под названием OpenAI сегодня дало слово сделать результаты своей работы общественными, а патенты бесплатными, чтобы обезопасить людей от пугающей перспективы оказаться в антиутопии, где компьютеры превзошли человеческий интеллект. Финансирование поступает от светил мира айти, среди которых Элон Маск, Рид Хоффман, Питер Тиль, Джессика Ливингстон и компании Amazon Web Services. Они дали обещание за продолжительный период времени совместно пожертвовать более миллиарда долларов на развитие организации. Сопредседателями организации стали Маск и Сэм Альтман, гендиректор Y Combinator, чья исследовательская группа также выступает в роли спонсора (как и сам Альтман).

Участие в этом проекте Маска, известного критика ИИ, не вызывает вопросов, чего не скажешь о Y Combinator. Да, это тот самый бизнес–инкубатор, который был основан 10 лет назад и поначалу финансировал шесть айти–стартапов, выплачивая их основателям зарплату, которой хватало на Доширак, и делился с ними экспертными советами, чтобы они могли быстро наладить свой бизнес. С тех пор фонд Y Combinator помог выйти на рынок почти 1000 компаний, среди которых Dropbox, Airbnb и Stripe, а также недавно запустил исследовательское подразделение. Последние два года им руководит Альтман, чья компания Loopt была среди тех первых шести стартапов в 2005 году и которую он продал в 2012 за 43 миллиона долларов. Несмотря на то, что YC и Альтман выступают в качестве спонсоров, а Альтман является ещё и сопредседателем, OpenAI — это отдельное независимое предприятие.

По сути, OpenAI — это исследовательская лаборатория, предназначенная для противодействия большим корпорациям, ориентированным на получение прибыли (которые могут стать слишком влиятельными, если у них появится система со сверхинтеллектом), а также правительствам, которые могут воспользоваться сверхинтеллектом для злоупотребления властью и угнетения своих граждан. Это может прозвучать как нечто далёкое от реальности, но организации уже удалось нанять крупных специалистов, среди которых бывший технический директор компании Stripe Грег Брокман и исследователь мирового класса Илья Суцкевер, бывший сотрудник Google и член прославившейся группы молодых учёных, работавшей под руководством пионера нейронных сетей Джеффа Хинтона в Торонто. Остальная часть сотрудников состоит из лучших молодых специалистов, в чьих резюме работа в главных научно–консультативных группах Facebook AI и DeepMind, этих сотрудников Google урвал себе в 2014. У компании, ко всему прочему, звёздный состав консультантов, среди которых ведущий учёный в области теории вычислительных систем Алан Кэй.

Главы OpenAI поговорили со мной о проекте и о своих стремлениях. Интервью проводилось в два этапа, которые я объединил для вашего удобства и ясности. Сначала я беседовал только с Альтманом, во время другой сессии к нему присоединились Маск и Брокман.

Как это всё пришло вам на ум?

Сэм Альтман: Мы запустили YC Research полтора месяца назад, но я, как и Элон, думал об ИИ ещё задолго до этого. Если задуматься о самых важных для будущего человечества вещах, то ИИ точно окажется в начале списка. Поэтому мы и создаём OpenAI. Организация пытается разработать дружелюбный ИИ. Организация некоммерческая, потому этот ИИ будет бесплатно принадлежать всему миру.

Элон Маск: Как вам известно, меня давно беспокоит проблема ИИ, и я не раз обсуждал эту тему с Сэмом Альтманом и Ридом Хофманом, Питером Тилем и другими. И мы просто задумались: «Существует ли способ гарантировать или повысить вероятность того, что ИИ будет развиваться во благо людей?» В результате ряда бесед мы пришли к заключению, что было бы неплохо основать некоммерческую организацию, освобождённую от уплаты налогов, которой не нужно стремиться к максимальной рентабельности. Также мы решили, что предельно сосредоточимся на безопасности.

В идеологическом плане есть ещё один важный нюанс: мы хотим, чтобы ИИ был широко распространён. Здесь в основном встречаются две точки зрения: вам хочется, чтобы в мире было много ИИ или очень ограниченное количество? Мы считаем — чем больше, тем лучше. До такой степени много, чтобы можно было связать это количество с желанием отдельного человека.

Желание людей? Что вы под этим подразумеваете?

Маск: ИИ сможет стать дополнением вас самих, чтобы таким образом каждый человек начал существовать в симбиозе с ИИ, вместо какой–то одной центральной системы ИИ. Подумайте о том, как вы сегодня используете приложения в Интернете, у вас есть свой почтовый ящик и профили в социальных сетях, а эти приложения в вашем телефоне делают вас своего рода сверхчеловеком, вы не думаете о них как о чём–то отдельном, вы воспринимаете их как своё продолжение. Вот в таком же направлении мы и хотим развивать ИИ. Мы нашли инженеров и исследователей в области ИИ, которые разделяют эту нашу идею.

Альтман: Мы считаем, что лучше всего было бы разработать ИИ таким образом, чтобы он расширял возможности всех людей и делал их лучше, и чтобы при этом он был доступен каждому, а не кому–то одному, делая его самым могущественным существом на планете. Мы не коммерческая компания вроде Google и можем не беспокоиться том, как обогатить наших акционеров, а сосредоточиться на том, что, как мы считаем, будет лучшим для будущего человечества.

Разве Google не делится своими разработками с обществом, как недавно они поступили с машинным обучением?

Альтман: Сейчас они, конечно, делятся многими своими исследованиями. Но с течением времени, когда мы приблизимся к чему–то, что превзойдёт человеческий разум, нет никаких гарантий, что в Google поступят так же.

Смогут ли ваши разработки в OpenAI превзойти уровень человеческого разума?

Альтман: Думаю, так и будет. Но у них будет открытый исходный код, доступный всем, а не только, скажем, Google. Что бы наша группа ни сделала, всё будет в открытом доступе. Если вы воспользуетесь этими разработками и переделаете их, то вы будете не обязаны этим делиться. Но всё, что делаем мы, будет доступно каждому.

А если я Доктор Зло, разве это не даст мне больше могущества?

Маск: На мой взгляд, это отличный вопрос, о котором мы немало спорили.

Альтман: По этому поводу есть несколько разных мыслей. Так же как люди защищены от Доктора Зло тем, что большинство людей всё же хорошие, а коллективная мощь человечества может содержать в себе отдельные плохие элементы, мы думаем, что, скорее всего, множество ИИ будут работать вместе над тем, чтобы остановить некоторые плохие ИИ, чем одно ИИ, которое в миллиарды раз мощнее чего–либо. Если с таким ИИ что–то пойдёт не так и оно попадёт в руки к Доктору Зло, то не будет ничего, что могло бы ему противостоять, и тогда мы все действительно окажемся в плохом положении.

Будете ли вы осуществлять какой–то надзор за тем, что будет выходить на основе вашего открытого ИИ?

Альтман: Да, мы хотим сделать это с течением времени. Начнётся всё с меня и Элона. Мы всё ещё далеки от создания настоящего ИИ. Но, думаю, что у нас достаточно времени, чтобы организовать надзорную функцию.

Маск: Я намерен проводить с командой день в офисе раз в одну–две недели просто чтобы оставаться в курсе всего и делиться своими впечатлениями, а также иметь хорошее представление о том, как обстоят дела с ИИ и стоит ли опасаться чего–либо. Я предельно внимателен к вопросам безопасности, так как меня это очень беспокоит. Если мы сделаем что–то, что, на мой взгляд, будет угрожать безопасности, то меньше всего мы хотели бы, чтобы это попало в открытый доступ.

Дайте пример недружелюбного ИИ, что это такое?

Альтман: Ну есть, конечно, всякие выдумки из научной фантастики, которые, на мой взгляд, устарели — вроде Терминаторов и всякого такого. Я вообще не переживаю о подобном в краткосрочной перспективе. Но что–то, что, мне кажется, действительно будет проблемой — хотя я не считаю это проявлением недружелюбного ИИ, — так это глобальная автоматизация и ликвидация рабочих мест. Но есть и другой пример недружелюбного ИИ, о котором часто говорят — программы, которым удаётся взломать ваш компьютер лучше, чем хакерам. Это происходит уже сегодня.

Вы начнёте свою работу с системы, которая уже разработана?

Альтман: Нет. Мы начнём как исследовательская лаборатория и долгое время таковой и будем. Никто не знает, как создать ИИ. У нас есть пара разработчиков, которые начнут работу с первого дня, а другие присоединятся через пару месяцев. Пока они будут использовать офис YC, а по мере роста команда переедет в отдельный. Они будут играться с разными идеями и писать программное обеспечение, чтобы узнать, в состоянии ли они улучшить нынешнее положение дел в сфере ИИ.

Будете ли вы сотрудничать со сторонними лицами?

Альтман: Обязательно. Одно из основных преимуществ открытого кода в том, что все могут сотрудничать с лабораторией и свободно обмениваться информацией. С сотрудниками Google сотрудничать очень тяжело, потому что у них много ограничений, связанных с политикой неразглашения.

Сэм, учитывая, что открытый ИИ в конечном итоге появится в офисе YC, будет ли у ваших стартапов к нему доступ? (Апдейт: Альтман говорит, что офис будет в Сан–Франциско).

Альтман: Если OpenAI разработает действительно хорошую технологию, и все смогут пользоваться ей бесплатно, то это принесёт пользу любой айти–компании. Но не более того. Тем не менее, мы попросим компании YC, по возможности, делать данные доступными для OpenAI. Элон предоставит некоторые данные Tesla и SpaceX.

Какие это будут данные? Можете дать пример? 

Альтман: Много всего. Например, все данные Reddit могли бы стать полезным набором для обучения. Вся видеоинформация самоуправляемого автомобиля Tesla очень ценна. Огромные объёмы данных очень важны. Подумайте о том, как люди становятся умнее: вы читаете книгу и становитесь умнее, я читаю книгу и становлюсь умнее. Но мы не становимся умнее от того, что кто–то третий прочитал книгу. Но возьмём Tesla: если одна машина узнала что–то новое, то моментально и все остальные автомобили пользуются этим знанием.

Маск: В целом, у нас нет кучи точных планов, потому что компания находится на начальной стадии развития, в зачаточном состоянии. Но определённо у Tesla будет огромное количество данных из–за миллионов миль, которые ежедневно проезжает наш автопарк. Возможно, у Tesla будет больше реальных данных, чем у какой–либо другой компании в мире.

ИИ требует больших вычислений. Какой будет ваша инфраструктура?

Альтман: Мы сотрудничаем с Amazon Web Services. Они пожертвуют большую производственно–техническую базу для нашей работы.

И в это вложен миллиард долларов?

Маск: Думаю, справедливо будет сказать, что финансовое обязательство превышает миллиард. Мы не хотим давать точную расшифровку, но все люди, которые упоминаются в этом блоге, внесли существенные суммы.

За какой период времени?

Альтман: Столько, сколько потребуется для создания ИИ. Мы будем экономить по мере возможностей, но речь идёт о проекте, который займёт несколько десятилетий и которому требуется множество работников и технического оборудования.

И вам не нужно на этом зарабатывать?

Маск: Всё верно. Эти инвестиции не ориентируются на получение прибыли. Не исключено, что в будущем они станут приносить доход так же, как Стэндфордский исследовательский институт, который тоже является некоммерческой организацией. Так что доход в будущем возможен, но не прибыль. Прибыли, которая будет просто обогащать акционеров, не будет, как и цен на акции или чего–то подобного. Мы считаем, что это хорошо.

Элон, вы недавно инвестировали в компанию, занимающуюся ИИ, DeepMind, как мне кажется, по тем же самым причинам: чтобы убедиться, что ИИ находится под контролем. Потом Google выкупил компанию — выходит, это что вторая попытка?

Маск: Я должен сказать, что не являюсь инвестором в привычном понимании этого слова. Я не ищу, куда бы вложить деньги для максимальной финансовой отдачи. Я вкладываю деньги в компании, которые помогаю создать или чтобы помочь другу, или если есть идеология, которая мне близка. В материальном плане я не особо вкладываюсь в разнообразные предприятия, кроме своих собственных. Но да, мои «инвестиции», в кавычках, в DeepMind были для того, чтобы обрести лучшее понимание ИИ и не спускать с него глаз, если угодно.

Вы будете бороться за лучших учёных, которые сейчас могут устроиться в DeepMind, Facebook или Microsoft?

Альтман: Наш набор специалистов пока идёт неплохо. Исследователей привлекает открытость, свобода и возможность делиться тем, над чем они работают. Промышленные лаборатории этого в такой степени им предложить не могут. Нам изначально удалось привлечь первоклассную команду, поэтому люди теперь сами хотят присоединиться к нам, чтобы работать с этой командой. И, наконец, наше видение, наша миссия и структура действительно обращены к людям.

Сколько исследователей вы в конечном итоге наймёте? Сотни?

Альтман: Возможно.

Я хочу вернуться к мысли, что если вы поделитесь ИИ со всеми, мы, возможно, не пострадаем от его негативных последствий. Но разве нет риска, что сделав ИИ более доступным, вы повышаете риск потенциальной опасности?

Альтман: Жаль, что я не могу сосчитать часы, проведённые за обсуждением этого вопроса с Элоном и другими, и я по–прежнему до конца не уверен. Но ведь полностью уверенным ни в чём быть нельзя? Давайте проиграем другие варианты развития событий. Секретность разработок в плане общественной безопасности далеко не всегда была эффективной. Если всем будет владеть кто–то один, то как решить, кто именно? Должен ли это быть Google, правительство США, Китай или ИГИЛ? В мире полно плохих людей, и тем не менее общество продолжает процветать. Но что бы произошло, если бы один из этих людей был в миллиард раз могущественнее всех остальных?

Маск: Я считаю, что лучшее средство защиты от злоупотребления ИИ — это предоставление возможности как можно большему количеству людей пользоваться им. Если у каждого будет мощь ИИ, то нам не будет угрожать один человек или небольшая группа людей со сверхсилой ИИ.

Элон, вы являетесь соучредителем двух компаний и председателем третьей. Сложно поверить, что у вас достаточно свободного времени для ещё одного проекта.

Так и есть, но безопасность ИИ терзала мой ум уже долгое время, так что, думаю, взамен я получу спокойствие духа.