AI Doomism

Как вы, наверное, заметили, формат канала не предполагает высказывания своего невероятно важного мнения по горячим в моменте темам. Однако, здесь сдержаться оказалось тяжело. Я почти каждый день захожу в Твиттер - и примерно половина моей ленты связана с ML. Последние несколько недель желание сидеть там монотонно уменьшается - вместо интересных обсуждений всё заполнено твитами про AGI, AI alignment и про то, как скоро нашему миру пиздец.

Подобные споры идут в вялотекущем режиме постоянно, но точкой взрыва сейчас стали выход GPT-4 и открытое письмо, предлагающее остановить AI-рисёч на полгода. На эту тему уже так или иначе высказались все большие ML-специалисты, кто-то (например, Ян Лекун и Франсуа Шолле) откровенно смеётся над волной истерии.

Другие, как Илья Суцкевер, выражают опасения по поводу потенциальной отдалённой угрозы. Но самые громкие голоса, конечно же - это откровенный хайп и шитпостинг от сумасшедших AI-думистов.

Я уверен - вокруг темы AI можно и нужно дискутировать, этически спорных точек и без угрозы конца света предостаточно - социальные эффекты, угроза рабочим местам, авторское право, дипфейки, переосмысление концепции творчества, вопросы приватности и многое другое. Но текущая дискуссия точно не выглядит здоровой. Я прочитал и посмотрел несколько opinion pieces разной степени адекватности и решил поделиться с вами.

Илья Суцкевер и OpenAI

Достаточно интересное и абстрактное интервью от Ильи Суцкевера. Позицию он высказывает достаточно осторожно, в ней достаточно AI-энтузиазма и футуризма, но и призывы к работе над мерами безопасности, конечно, звучат. Некоторые его мысли:

• Сеть, просто предсказывающая следующий токен, вполне может быть умнее человека на разных задачах. Хорошее предсказание следующего токена - это не "статистический попугай", для этого нужно понимать реальность, которая привела к появлению этого токена.
• AGI и AI alignment - размытые термины с разными возможными определениями. Но всё-таки сейчас мы ещё не на уровне AGI, когда будем - сказать сложно.
• Нужно стремиться к состоянию мира, в котором методы, ведущие к AI alignment, развиваются быстрее, чем способности самих моделей. На данный момент уровень нашего понимания того, как ведут себя большие модели, довольно низкий.

Небольшая ремарка от меня - AI alignment действительно максимально размытый термин, а его перевода на русский я так и не придумал. Примерно его можно понять так - это способность направить действия AI-систем в русло, которое ожидает от них человек. Кажется, будет правильным сказать, что это подмножество области AI-безопасности.

Аналогичный вайб и у поста OpenAI, в котором они концентрируются на понятных рисках - приватность, защита детей, меры безопасности от пользователей с не очень хорошими намерениями. Про экзистенциальные угрозы апокалипсиса тут ничего нет.

Ян Лекун

Лекун каждый день строчит по 5-10 твитов, порицающих сумасшедших AI-думистов, и постоянно потешается над теми, кто думает, что LLM - это что-то близкое к AGI. В Фейсбуке же иногда случаются и более глубокие дискуссии. Стюарт Расселл и другие возражают Лекуну и говорят, что стремление AI к контролю над миром может появиться и непреднамеренно, как следствие другой задачи или цели. Лекун же считает, что есть множество способов защитить себя от этих проблем при создании AI - например, изменить целевую функцию или добавить дополнительные механизмы защиты ("safeguards"). Причём, для AI такие механизмы создавать намного легче, чем для людей. Поведение людей можно менять только опосредованно - через образование и законы, а в AI можно напрямую вложить ценности и правила при обучении - не убий, не укради, не возжелай AI ближнего своего.

Ну и ещё одная ключевая мысль от Лекуна, с которой, правда, согласны не все - пока мы даже не близко к созданию автономного умного AI, так что пока это всё дискуссии о "сексе ангелов". В общем, если хотите получить полное представление о всей палитре аргументов ML-титанов, можно просто прочитать этот документ. А ссылка в подзаголовке ведёт на эвент, на котором Лекун и Эндрю, прости господи, Ын сегодня обсудят, почему шестимесячный бан на AI-рисёч - это зло.

janus

Очень интересный LessWrong-пост про то, что GPT-модели лучше всего описываются термином "симулятор". Написан полгода назад, но имеет прямое отношение к сегодняшим дискуссиям.

GPT - не "агент". Интернет полон историй о том, как LLM-модели пишут зловещие вещи о захвате мира, но это не значит что GPT "хочет" захватить мир. GPT генерирует текст, который симулирует поведение определённого агента или нескольких агентов. У этих агентов как будто бы есть определённые цели, задачи или желания, но так же легко модель может "создать" агента и с противоположными взглядами. GPT наплевать, какого агента симулировать, если его поведение укладывается в те самые "safeguards", заложенные OpenAI (которые, правда, пока легко обойти). И сетке наплевать, что вы закрываете вкладку в браузере и уничтожаете всех созданных ею агентов. Основная цель GPT при обучении и на инференсе - предсказание, и это позволяет модели симулировать агентов с любыми целями. Например, мы можем попросить давать иррациональные или неправильные ответы.

GPT - не "модель-оракул" и не "модель-инструмент". У GPT нет явной мотивации говорить только правду - наоборот, мы можем специально просить её лепить чепуху или пародировать какого-нибудь дурачка. Метрики на классических QA-датасетах и тестах вообще не очень хорошо отражают способности таких моделей, которые по факту намного шире.

GPT - не "мимикрирующая модель". GPT может имитировать поведение конкретного человека или нескольких людей, но её способности шире. Мы можем описать гипотетического человека, которого не было в трейн-сете (например, самого мудрого человека на Земле), и GPT попробует предсказать его поведение за счёт общей способности предсказывать человеческий язык.

GPT - это "симулятор". При генерации текста GPT сэмплирует следующий токен из распределения вероятностей, добавляет его к текущей последовательности и затем генерирует следующий токен, таким образом симулируя будущее. С помощью этой способности предсказывать язык GPT может симулировать разные типы AI-систем - агентов, оракулов, инструменты. При этом GPT не имеет способности сделать ничего реального - только симулировать реальный мир. В посте также разделяются концепции "симулятора" и "симулякра". GPT - это симулятор, которые может создавать разные симулякры. Такое разделение помогает ответить на расплывчатые вопросы про GPT - различает ли GPT корреляцию и каузацию, притворяется ли GPT глупее, чем есть, и так далее. Все эти вопросы имеют смысл в контексте симулякров, которые генерирует симулятор GPT.

В конце есть очень интересная ремарка - оказалось, что создание очень качественного симулятора реальности не требует создания AGI. GPT не нужно эмулировать работу мозга, чтоб создавать симулякры с очень неплохими по качеству виртуальными людьми.

Ajeya Cotra

Набор разных гипотетических предпосылок и сценариев, которые вертятся вокруг одной центральной темы - если мы продолжим скейлить модели, основанные на HFDT, то в конце концов они захватят мир. Мне такое чтиво кажется абсолютно безынтересным, уж лучше почитать дискуссию, которую я скидывал выше, в секции Лекуна. Но для демонстрации всего ландшафта решил включить.

Nathan Lambert

Многие ML-специалисты и ML-бизнесмены сейчас сильно нервничают. Кажется, что годы их рисёча и работы внезапно стали бесполезны, ведь теперь всё крутится вокруг ChatGPT. Хорошо сейчас в первую очередь ML-инюфленсерам - можно каждый день выплёвывать тонны вирусного контента.

Автор, который работает в HuggingFace, рефлексирует по поводу этого чувства тревоги и даёт несколько простеньких общих советов как теперь жить - концентрироваться на науке, а не вирусности контента, не убиваться из-за неудач. Добавлю, что ещё полезно помнить, что в AI на самом деле ещё очень много как научной работы, так и работы по внедрению в разные сферы. Так что у каждого есть способность привнести в мир что-то новое.

Заключение

Я ни в коем случае не являюсь экспертом в областях LLM и AI safety. Но происходящее сейчас мне кажется достаточно безумным. Я полностью согласен с Лекуном, что называть ChatGPT предвестником AGI - это, мягко говоря, преждевременно. Наверное, можно понять людей не из индустрии, но когда на волну хайпа запрыгивают достаточно известные ML-люди - мне это понять тяжело.

Всё это, конечно, отнюдь не значит, что развитие и распространение LLM и других ML-систем не несёт никаких рисков. В принципе ничего нового - появление и развитие любой крутой технологии означает, что доступ к ней получают и не очень хорошие ребята, да и хорошие могут случайно натворить дел.

Что касается статей, то мой личный фаворит из сегодняшнего списка - пост про симуляторы и симулякры. Он выходит за рамки поднадоевшего спора "ChatGPT - это AGI" против "ChatGPT - это бездумный генератор токенов", и предлагает свежый взгляд на эту дихотомию. Рекомендую для любителей обсудить судьбы AI-систем в барах и кальянных.