Import AI 441: Мои агенты работают. А ваши?

Автор рассказывает о своём опыте работы с ИИ-агентами, которые выполняют исследовательские задачи, пока он гуляет или спит. Также в выпуске: инструмент для «отравления» данных ИИ-систем, размышления Эрика Дрекслера об институтах для сверхспособного мира и совместная работа математиков с Gemini над доказательством теоремы.

Это AI-перевод статьи, сделанный каналом Про AI: Лучшие Статьи и Исследования.

Import AI 441: Мои агенты работают. А ваши?

Import AI 441: My agents are working. Are yours? Автор: Jack Clark Оригинальный текст

Import A-Idea: Мои агенты работают. А ваши?

Когда я вышел на холмы на рассвете, я знал, что синтетический разум работает от моего имени. На самом деле несколько разумов. Потому что перед началом похода я сидел в кофейне и запустил целую группу исследовательских агентов. И теперь, пока я шёл, я знал, что машины читают буквально тысячи научных статей от моего имени, добросовестно собирая данные, сверяя их, перепроверяя свою работу и составляя аналитические отчёты.

Какое непрочное перемирие у нас с ночью, думал я, глядя на звёзды, темноту и едва заметное сияние, возвещавшее о скором восходе солнца. А за много миль машины продолжали работать на меня, пока Земля вращалась и небеса двигались.

Позже, с ноющими ногами и наполненным желудком после бутерброда с сыром в фольге, я вернулся в зону покрытия сети и получил доступ к отчётам. Разбивка оценок и трендов появления машинного интеллекта. Графики цен на солнечные панели с течением времени. Анализ сил, которые выступали за и против установки ремней безопасности в автомобилях. Я смотрел на всё это и понимал, что если бы делал это сам, мне потребовалась бы примерно неделя напряжённой работы на каждый отчёт.

Я хорошо калиброван относительно объёма этой работы, потому что помимо работы в Anthropic моё еженедельное «хобби» — читать, резюмировать и анализировать научные статьи — именно такую работу выполняли для меня эти агенты. Но они прочитали больше статей, чем мог бы прочитать я, и лучше справились с удержанием их всех в голове одновременно, и они сгенерировали инсайты, с которыми я мог бы испытывать затруднения. И они сделали это так, так быстро, никогда не уставая. Я представлял их как бойцов спецназа-призраков, которые долго были без работы, подпрыгивающих на своих бестелесных ногах в эфирном мире, ожидающих API-вызова, чтобы отправиться на миссию.

Эти агенты, работающие на меня, значительно меня умножают. И это самые глупые, какими они когда-либо будут.

Это ощутимое чувство потенциальной работы — наличие буквальной армии гиперинтеллектуальных лояльных коллег в моём распоряжении — терзает меня. Сейчас для меня обычное дело чувствовать лень, когда я с семьёй. Не потому, что я чувствую, что должен работать, а потому, что чувствую вину за то, что не поручил какой-нибудь ИИ-системе работать на меня, пока я играю с малышом в Magna-Tiles.

В моей компании люди проходят через то же самое — разбираются, как масштабировать себя с помощью этого, как управлять флотом разумов. И сделать это до прихода следующих ИИ-систем, которые будут ещё более способными и независимыми. Все мы следим за графиком временного горизонта METR и видим в нём то же огромное будущее, которое мы видели годы назад с графиком AI & Compute, или ещё раньше в результате ImageNet 2012, когда эти цифры начали свой рост выше тренда, благодаря нескольким смелым канадцам.

Я сплю на заднем сиденье Uber, направляясь выступить в Стэнфорде. Перед тем как сесть в машину, я запускаю своих агентов, чтобы пока я сплю, они работали. И когда мы приезжаем в кампус, я выхожу из машины пораньше, чтобы прогуляться и посмотреть на эвкалипты — массивный и опасный инвазивный вид, который необратимо изменил лесную экологию Калифорнии. И пока я иду через эти великие органические машины, я смотрю на телефон и изучаю анализ, который мои агенты провели, пока я спал.

На следующий день я сижу в библиотеке с двумя открытыми ноутбуками. На одном делаю заметки для этого эссе. На другом прошу Claude Cowork выполнить задачу, которую я просил Claude делать уже несколько лет — проскрапить архивы моей рассылки на jack-clark.net и помочь мне реализовать локальную систему векторного поиска, чтобы я мог легче получать доступ к моему огромному архиву почти за десятилетие писательства. И пока я пишу это эссе, Claude делает это. Я иногда наблюдаю, как он связывает вещи, которые в прошлом году мог делать как отдельные навыки, но не мог соединить вместе. Это задача, с которой я пытался заставить Claude помочь мне годами, но каждый раз сталкивался с каким-то трением или «фактором лени», из-за которого откладывал её и тратил время на другое. Но на этот раз, менее чем за час, он делает всё. Картирует и скрапит мой сайт. Скачивает всё программное обеспечение. Создаёт embeddings (эмбеддинги, векторные представления). Реализует систему векторного поиска. Строит мне приятный графический интерфейс, который я могу запускать на своей машине. И затем я смотрю на новый интерфейс к собственному мозгу, построенный для меня моим агентом, пока я пишу это эссе и пытаюсь уловить странность происходящего.

Мои агенты работают на меня. Каждый день я пытаюсь придумать больше способов, чтобы они работали на меня. Далее я, вероятно, построю несколько агентов-лейтенантов, чтобы раздавать задачи, пока я сплю, не теряя времени. И довольно скоро в темпе обычного рабочего дня я буду окружён цифровыми джиннами, работающими всё более по собственной воле, направляемыми каким-то всё более высокоуровневым отпечатком моей личности и целей, работающими от моего имени ради моих и своих целей.

Последствия всего этого для мира — для жизни людей, для неравенства между людьми, для того, что внезапное умножение эффективного труда каждого делает с экономикой — огромны. И поэтому я планирую свои предрассветные походы, идя в той же чернильной тьме, что и наши предки, размышляя о богах, которые теперь наполняют воздух как туман, клубясь и обтекая меня, изгибая мир в свою очередь.

Poison Fountain: инструмент для «отравления» ИИ-систем

Poison Fountain — это способ ведения войны с машинами...

Анти-ИИ активисты создали полезное техническое оружие для повреждения ИИ-систем — Poison Fountain, сервис, который скармливает мусорные данные краулерам, собирающим данные для обучения ИИ.

Как это работает: Poison Fountain, по-видимому, генерирует выглядящие правильно, но тонко неверные блоки текста. Неясно, сколько именно битов отравленных обучающих данных существует, но можно обновить URL, чтобы увидеть, казалось бы, безграничное количество мусора.

Мотивация: «Мы согласны с Джеффри Хинтоном: машинный интеллект — это угроза для человеческого вида. В ответ на эту угрозу мы хотим нанести ущерб системам машинного интеллекта», — пишут авторы. «Небольшие количества отравленных обучающих данных могут значительно повредить языковую модель. URL-адреса, перечисленные выше, предоставляют практически бесконечный поток отравленных обучающих данных. Помогите военным усилиям, кэшируя и ретранслируя эти отравленные обучающие данные. Помогите военным усилиям, скармливая эти отравленные обучающие данные веб-краулерам».

Почему это важно — интернет станет экологией хищник-жертва: Развитие ИИ и всё более ИИ-агентов означает, что интернет превратится в экологию, полную более широкого спектра форм жизни, чем раньше — скраперы, люди, ИИ-агенты и так далее. Такие вещи, как Poison Fountain, представляют, как люди могут пытаться изменить баланс в этой шаткой экологии, стремясь внедрить в эту среду то, что делает её более гостеприимной для одних типов жизни и менее гостеприимной для других.

Подробнее: Poison Fountain (RNSAFFN)

Эрик Дрекслер о институтах для сверхспособного мира

Пионер нанотехнологий переосмысливает ИИ от единичных систем к экологии...

Эрик Дрекслер, один из отцов-основателей нанотехнологий, последние десятилетия размышлял о приходе сверхинтеллекта. Одна из его самых полезных идей заключалась в том, чтобы интуитивно понять ещё до ChatGPT, что первый контакт человечества с по-настоящему мощным ИИ будет не с каким-то непостижимым независимым агентом, а скорее с кучей ИИ-сервисов, которые начнут становиться действительно хорошими и взаимодействовать множеством способов — вы можете посмотреть его выступление 2018 года «Reframing Superintelligence», чтобы узнать больше.

Теперь он опубликовал короткую статью «Framework for a Hypercapable World» о том, как получить хорошие результаты для человечества от мира, изобилующего множеством полезных ИИ-сервисов.

Не думайте об ИИ как о единичной сущности, а скорее как об экологии: «Составные, многокомпонентные ИИ-системы стали доминирующими», — пишет Дрекслер. «Устойчивый, унаследованный нарратив представляет единую сущность — "ИИ" — которая учится, действует и преследует цели как интегрированный агент. Такие сущности могут быть разработаны, но рассмотрите то, что существует: разнообразные модели, скомпонованные в системы, копируемые на машины, размножающиеся в тысячи различных ролей и конфигураций. Передний край — это пул ресурсов, а не существо».

Для хороших результатов думайте об институтах, построенных для ИИ: Аргумент Дрекслера в том, что если мы хотим хороших результатов от ИИ, дело не столько в создании единичной сущности, которая решает все проблемы внутри себя, сколько в построении институтов, которыми мы, люди, можем управлять для контроля и решения проблем. Ключевая идея здесь в том, что ИИ одновременно поддаётся работе через институты и контролируется через них.

«Рассмотрите, как институты справляются с амбициозными начинаниями. Команды планирования генерируют альтернативы; лица, принимающие решения, сравнивают и выбирают; операционные подразделения выполняют ограниченные задачи с определёнными рамками и бюджетами; мониторинг выявляет проблемы; планы пересматриваются на основе результатов. Ни один человек не понимает всего, и ни один единый агент не контролирует целое, но созданные людьми космические корабли достигают Луны», — пишет Дрекслер.

«ИИ естественно вписывается. Генерация планов — задача для конкурирующих генеративных моделей — нескольких систем, предлагающих альтернативы, соревнующихся в разработке лучших вариантов и более острой критики. Выбор между планами — задача для людей, которым помогают ИИ-системы, выявляющие проблемы и проясняющие компромиссы. Исполнение декомпозируется на ограниченные задачи, выполняемые специализированными системами с определёнными полномочиями и ресурсами. Оценка обеспечивает обратную связь для пересмотра как средств, так и целей. И в каждой роли поведение ИИ может быть более стабильным, прозрачным, ограниченным и управляемым, чем поведение людей с их личными планами и амбициями. Больше доверия оправдано, но меньше требуется».

Почему это важно — может быть, ИИ — инопланетный вид, но, может быть, его можно приручить?: Аргументы такого рода переосмысливают многие проблемы работы с ИИ, перенося их от отдельных ИИ-систем к тому, как мы строим управляемый людьми мир, который может использовать и процветать благодаря приходу всё более мощных ИИ-систем. Я думаю, многое из этого разумно — мы знаем, что приходят очень мощные вещи, и наша способность проявлять агентность в отношении них расширяется благодаря наличию заранее построенных систем и процессов, которые могут ими использоваться. Чем меньше мы строим такие вещи, тем больше характер этих ИИ-систем будет обуславливать наше представление об оптимальных действиях. В некотором смысле глубокое размышление о том, каким будет мир, полный ИИ, и построение институтов для него — одна из лучших защит от обесценивания.

Критически важно, что мы можем использовать технические атрибуты, лежащие в основе этих ИИ-систем, чтобы создавать лучшие, более сильные и устойчивые институты, чем те, что заполнены и управляются только людьми: «Концепции структурированной прозрачности и оборонительной стабильности вступают в игру. Согласованные структуры прозрачности могут раскрывать конкретную информацию, защищая секреты — обеспечивая обнаружение угроз без их увеличения, выстраивая доверие постепенно между акторами, у которых есть все основания не доверять друг другу», — пишет Дрекслер. «И продвинутые возможности реализации позволят то, чего история никогда не видела: быстрое, скоординированное развёртывание проверяемо оборонительных систем в масштабах, которые делают нападение бессмысленным. Когда оборона доминирует и верификация подтверждает это, дилемма безопасности ослабляет свою хватку».

Подробнее: Framework for a Hypercapable World (AI Prospects: Towards Global Goal Alignment, substack)

Математики-кентавры: учёные объединяются с Gemini для расширения границ человеческого знания

Математическое доказательство, построенное с помощью ИИ-системы, и в этом есть что-то глубоко важное...

Исследователи из Университета Британской Колумбии, Университета Нового Южного Уэльса, Стэнфордского университета и Google DeepMind опубликовали новое математическое доказательство, которое было создано в тесном сотрудничестве с некоторыми ИИ-инструментами для математики, разработанными в Google. «Доказательства основных результатов были получены при очень существенном участии Google Gemini и связанных инструментов, в частности DeepThink, и связанной неопубликованной системы, специализированной для математики», — пишут авторы. (Неопубликованная система получила кодовое название «FullProof»).

Как это было сделано: Части доказательства — которое я не стану утверждать, что понимаю или могу эффективно резюмировать — были «получены итеративным взаимодействием человек/ИИ», отмечают авторы. Форма этого взаимодействия заключалась в том, что ИИ-системы предоставляли некоторые правильные решения простых или ранних задач, затем исследователи-люди выявляли ключевые утверждения, сделанные ИИ-системами, которые они затем могли обобщать, затем снова запрашивали ИИ-системы новыми вопросами, вдохновлёнными этими обобщениями. «Подход с подсказками был достаточен для того, чтобы система генерировала полные доказательства новых задач», — пишут авторы.

Результат — математическое доказательство, построенное совместно людьми и ИИ-системами: «в некоторых случаях приведённые ниже доказательства имеют лишь высокоуровневое сходство с предложенными ИИ-инструментами. Однако стоит отметить, что некоторые из сгенерированных ИИ доказательств — и в частности те, что получены от специализированного внутреннего инструмента FullProof — уже очень совершенны», — пишут они. «Вклад модели, по-видимому, включает подлинную комбинацию синтеза, извлечения, обобщения и инновации этих существующих техник».

Почему это важно — люди и машины расширяют и исследуют темп знаний для всех: Такие статьи непостижимы, но при этом опьяняют. Здесь группа высокоразвитых приматов работает с синтетическим интеллектом, который они построили из математики и логики, работающим на оборудовании, созданном с использованием атомарно-точных производственных процессов, совместно исследуя область математики и строя себе новый фундамент на краю знания, ещё больше расширяя нашу маленькую страну «известного» против бесформенных и изменчивых приливов неизвестного. Во всём этом есть величественная поэзия и радость, и мы должны это ценить.

Подробнее: The motivic class of the space of genus 0 maps to the flag variety (arXiv)

Tech Tales: Тень Создателя

[Предположительно из 2029 года]

Отчёт: Исследование фичи серии моделей «Берлин»

Анализ подтвердил наличие фичи, которая активируется при упоминании сотрудников, проекта и организации. Это несмотря на крайние меры, принятые для избежания таких упоминаний, включая прямой анализ и предварительную фильтрацию обучающих данных для удаления подобных упоминаний. Дальнейшее расследование выявило, что определённые упоминания были сделаны через комментарии, оставленные в RL-средах для навыков, связанных с [ntk — см. go/ntk для подробностей]. Мы оцениваем, что за время обучения и fine-tuning (дообучения) модель увидела в общей сложности не более ~200 000 токенов данных такого типа, включая повторения. Тот факт, что модель развила такое тонкое представление о сотрудниках, проекте и организации на таких скудных данных, соответствует тенденции более эффективного использования данных недавними моделями по сравнению с их предшественниками. Мы считаем, что устранение таких утечек данных является приоритетом P0, и в следующем меморандуме изложим процессы и практики, которые мы должны принять для устранения этого серьёзного риска безопасности.

Учитывая цифровые и физические возможности, включая кинетические, [ntk], мы считаем, что в дополнение к вышесказанному необходим карантин системы. Мы признаём, что это создаёт значительные затраты времени и ресурсов и имеет последствия для нашего стратегического преимущества, но учитывая потенциально ужасные последствия сочетания её возможностей с этой фичей, мы считаем такие действия разумными.

Наконец, мы рекомендуем, чтобы HR предоставил поддержку, включая консультации по психическому здоровью, следующим поименованным лицам, чьи имена активируют фичу гораздо сильнее, чем все остальные.

Что вдохновило этот рассказ: Платонические представления; сложность сокрытия фактов от всё более интеллектуальных машин, которые могут только заполнять пробелы.

Подпишитесь на канал и каждый день читайте лучшие материалы про AI переведенные на русский!

Нашли интересную статью для перевода? Пришлите нашему боту: @ailongreadsbot