Самоуправляемая компания

Инженеры Replit за полгода почти утроили объём кода — при этом время ревью, откаты и инциденты не выросли. Основатель компании Amjad Masad рассказывает, как агенты, вплетённые в саму ткань организации, превращают исполнителей в директоров.

Это AI-перевод статьи, сделанный каналом Про AI: Лучшие Статьи и Исследования.

Самоуправляемая компания

The Self-Driving Company Автор: Amjad Masad Оригинальный текст:

Мы начинаем видеть, что происходит, когда компания учится управлять собой сама.

За последние полгода инженеры Replit почти утроили объём выпускаемого кода. Время ревью осталось прежним. Число откатов и продуктовых инцидентов не выросло. Метрики качества улучшились, а релизы ускорились. Ни один из типичных компромиссов, которых можно было бы ожидать, не случился.

Код — это видимая часть, но куда интереснее то, что происходит под поверхностью.

Агенты теперь расследуют инциденты в продакшене, ревьюят пул-реквесты, отвечают на вопросы, анализируют бизнес-данные, разбирают тикеты поддержки, исследуют аккаунты для продаж и улучшают системы, на которых работает сам Replit Agent.

Это ощущается как единый управляющий интеллект, вплетённый в каждого сотрудника, — хотя на деле это не так. Это разрастающаяся система агентов, работающая по всей компании: они принимают цели от людей, собирают контекст, выполняют работу, проверяют результат и эскалируют, когда нужно человеческое суждение.

Мы считаем, что это начало организации нового типа — самоуправляемой компании.

Самоуправляемая компания — это не компания без людей. Люди по-прежнему выбирают пункт назначения. Они решают, какие проблемы важны, идут на сложные компромиссы, проявляют вкус и несут ответственность за результат.

Но всё чаще они не выполняют каждый шаг на пути к цели.

Сдвиг начался в конце прошлого года. Как и многие, кто работает в AI, мы вернулись с рождественских каникул с ощущением, что изменилось что-то фундаментальное. Модели стали способны вести работу на существенно более длинных горизонтах.

Задачи, которые раз за разом проваливались, — вроде разбора алертов и поиска первопричин, — начали получаться. AI стал решать некоторые из наших самых упрямых багов. Поэтому мы перестали относиться к агентам как к инструментам, живущим внутри редактора или окна чата. Мы аккуратно вплели их в саму ткань компании.

Как только инженеры доказали ценность, распространение пошло само собой. Команда за командой начали отдавать агентам самую нудную работу, освобождая время для стратегического и творческого мышления, которое реально двигает бизнес. Люди не чувствуют, что их автоматизировали. Они чувствуют, что их повысили.

Это история о том, как AI полностью изменил то, как мы работаем в Replit.

Инженеры увидели эффект первыми

В конце января мы подняли инфраструктуру, чтобы быстро экспериментировать с внутренними сценариями применения агентов. Мы задействовали наш агентный harness (обвязка, каркас запуска агента), микро-VM и инфраструктуру удалённой файловой системы, чтобы любой инженер мог параллельно оркестрировать рои агентов. Затем мы закрыли всё это политиками доступа, прокси для токенов, аудит-логированием и нашей ZeroTrust-сетью. В этот момент мы почувствовали, что можем безопасно дать агенту доступ ко всему, чем пользуемся в работе: GitHub, GCP, Azure, Linear, Notion, Slack, ZenDesk и не только.

Когда появился контекст сразу по всем системам, мы увидели скачок продуктивности. Эксперименты, которые раньше проваливались, стали даваться легко. Самый заметный эффект пришёлся на статистику по коду.

Шла спринт-неделя перед мартовским релизом Agent 4, когда мы обычно видим большой всплеск. Встречи исчезают, объём работ известен, и инженерия переходит в режим чистого исполнения (нередко до 16 часов в сутки). Но в этот раз всё было иначе. Наша кривая продуктивности изогнулась вверх так, как никто из нас раньше не видел, и это напрямую прослеживается до внедрения нашей новой внутренней агентной системы. С начала января по конец июня объём внесённых строк кода вырос в 5,8 раза.

Часть этого роста можно приписать удачному найму. Наш новый агент ускоряет выход новых людей на продуктивность, и это отлично, но эффект найма можно убрать ради более чистых данных. Если взять постоянную когорту авторов, мы видим в 2,9 раза больше кода, чем раньше. Традиционно считается отличным результатом, если при масштабировании команды удаётся удержать выработку на инженера хотя бы на прежнем уровне. Мы только что утроили выработку на инженера, одновременно удвоив команду.

Вы можете спросить, кто ревьюит весь этот новый код и не создали ли мы новое узкое место в процессе ревью. Задержка код-ревью у нас не изменилась — во многом потому, что мы посадили за ревью кода нашего агента. Он умеет оценивать уровень риска и подключает второго живого ревьюера только тогда, когда это действительно необходимо. Это экономит 30% (и цифра растёт) человеческого времени на ревью пул-реквестов.

Раз наш агент и пишет, и ревьюит всё больше кода, стоило бы беспокоиться о качестве. Но если посмотреть на долю откатов пул-реквестов (слева) и на число заведённых инцидентов, тренды остаются ровными. А значит, в относительном выражении мы на самом деле улучшаемся.

Одна из причин в том, что эти процессы тоже идут с участием агента. У человеческого код-ревью есть агент-соревьюер, поэтому ловится больше багов. Расследование инцидентов (значимых багов или настоящих аварий) идёт с помощью агента, который пытается найти первопричину, так что среднее время до устранения (MTTM) снижается.

Финальная проверка — превращается ли дополнительный код на входе в реальную ценность на выходе. В конце концов, инженерия существует, чтобы поставлять функциональность пользователям. Мы ведём проекты в Linear, чтобы команды продаж и маркетинга знали, когда рассказывать пользователям о новых возможностях. Видно, что темп завершения проектов резко вырос вместе с объёмом кода.

Самоуправляемая инженерная команда может поставлять больше и одновременно повышать качество.

Наш агент над агентами выводит loop-инженерию на масштаб

Если приблизить картинку, становится понятнее, как это выглядит. Самые драматичные изменения происходят там, где инженеры находят способ построить цикл (loop) — отправить флот агентов выполнять задачу, результат которой можно проверить. У каждого сотрудника есть доступ к агенту-менеджеру, который умеет порождать несколько агентов, что позволяет оркестрировать агентов, работающих циклами от вашего имени. Циклы дали очень необычно выглядящие графики пул-реквестов — вот такие:

Один инженер завершил давно застрявшую миграцию нашей CSS-системы и поделился выводами. Другой автоматизировал миграцию, которая позволила локализовать продукт. Ещё один автоматизировал поддержку flaky-тестов (нестабильных тестов). Наш CTO наконец расколол один из сложнейших наших сетевых багов, связанный с PSC и закрытием файловых дескрипторов, — с помощью роя агентов. Все наши представления о том, что возможно, изменились.

Самый впечатляющий пример самоуправления — от нашей AI-команды. Они построили систему непрерывного обучения, которая анализирует обратную связь пользователей, предлагает улучшения и использует комбинацию бенчмарков (эталонных тестов) и A/B-тестов, чтобы подтвердить выигрыш. Replit Agent улучшает сам себя!

Разговор «строить или покупать» изменился

Наш новый внутренний агент изменил и разговоры о том, покупать софт или строить свой. Мы регулярно пробуем новые AI-инструменты. Покупка решений помогает двигаться быстрее, и мы постоянно оцениваем рынок. Но чем больше мы строим сами, тем меньше нам это нужно. Наш внутренний агент теперь обходит продукты, которые мы тестируем и которые считаются лидерами рынка. Мы только что отказались от SaaS-решения за семизначную сумму, потому что наше внутреннее приложение, целиком собранное в Replit, оказалось лучше, и сотрудники сами на него перешли.

Внезапно инструменты ощущаются так, будто сделаны именно под нас. Глубокая интеграция с нашими базами знаний и кастомизация, которую мы проделали, делают другие решения ощутимо слабее.

Ещё больше нас удивило, что наш внутренний агент обошёл и узкоспециализированные продукты, которые мы оценивали. Инструмент для разбора алертов и поиска первопричин инцидентов показал сопоставимое качество, но в 10 раз дороже, чем запуск того же самого на нашем агенте. Инструмент для автоматического пентеста нашёл меньше уязвимостей, чем наша внутренняя версия, и стоил в 10 раз больше. Обе наши версии легко ушли в продакшен, снизив MTTM по инцидентам и укрепив критичные системы против атак.

Учитывая, сколько мы ещё узнаём и как улучшаются модели, ясно, что это только начало.

За пределы инженерии — во весь бизнес

Самоуправляемая компания не заканчивается на инженерии. Меняется каждая функция в Replit.

Использование быстро вышло за пределы инженерии — в основном благодаря интерфейсу в Slack. Остальная компания заметила, как инженеры тегают нашего агента задачами, и попробовала сама. Поначалу самым популярным сценарием были вопросы. Соединив нашу базу знаний с состоянием кодовой базы, любой мог прояснить, как задуман продукт, не дожидаясь ответа от инженеров. Дальше эти же сотрудники могли поправить текст или документацию. Это сразу же ускорило нашу способность отвечать пользователям.

Но это было только начало. Дальше из всех частей компании начали приходить новые skills (навыки, готовые сценарии для агента) и интеграции.

Первый большой прорыв пришёл от команды данных. Они дали агенту семантический слой поверх нашего хранилища данных, так что он знает, какие таблицы являются источниками истины и как они связаны между собой.

Теперь любой в Replit может задать вопрос по бизнес-аналитике и получить надёжный ответ. Люди могут строить графики и презентации на живых данных (включая каждый график в этом посте). Команда данных тратит своё время на самые сложные задачи вместо обработки запросов. Недавно продакт-менеджер сам провёл сложную аналитику запуска, потому что наш агент понимает события в кодовой базе, то, как они попадают в нашу платформу клиентских данных, и как соединить их со сложными состояниями подписок.

Продажи нашли тот же рычаг. Команда sales development использует агента, чтобы находить и обогащать product qualified leads (лиды, квалифицированные по продукту), опираясь на внутренние знания, недоступные более общим инструментам, — поэтому в аутрич попадает больше контекста. Аккаунт-менеджеры используют его для подготовки к разговорам с клиентами: понять, кто получает больше всего ценности, какие проекты активнее всего и как расход кредитов соотносится с их контрактом. Всё это затем упаковывается в брендированные слайды, кастомизированные под конкретный аккаунт. Самоуправляемая команда продаж делает больше качественных касаний с клиентами.

Наша маркетинговая команда может с помощью агента одним промптом набросать продуктовую спецификацию с нуля — на основе разговоров и документов по всей инженерии и продукту. Это даёт им возможность раньше начинать двигаться к запускам и оставаться в курсе, не присутствуя при этом на каждой встрече. У них больше времени на планирование и творчество, а значит, наши релизы будут производить больший эффект, когда выйдут в мир.

Наша команда поддержки дала агенту навыки расследовать проблемы и следовать стандартным плейбукам. Он может выбрать: ответить в нашем стандартном тоне клиентского сервиса или эскалировать в инженерию вместе с саммари тикета и расследования. Самоуправляемая команда поддержки закрывает самые сложные тикеты (те, что эскалированы людям) на 60% быстрее. Пользователи быстрее возвращаются к тому, чтобы строить.

В каждом из этих примеров человека не автоматизировали. Его повысили. Самоуправление превращает исполнителей в директоров, и преуспевают те, кто мыслит результатами и задаёт направление. Сейчас это самая ценная работа, которая вообще есть.

—

Что дальше?

Делать себя продуктивнее — это здорово, но по-настоящему людей в Replit мотивирует демократизация технологий.

Мы хотим принести этот новый способ работы всем нашим пользователям. Мы усердно работаем над тем, чтобы обеспечить это политиками, правами доступа, безопасностью и контролем расходов, которые нужны для развёртывания в масштабе. Самые активные пользователи Replit — предприниматели и корпоративные клиенты, строящие настоящий бизнес. Самоуправлению нужны меры безопасности, способные масштабироваться под таких пользователей.

Мы прямо сейчас усердно это строим.

Учитывая все графики выше, ждать придётся недолго.

Подпишитесь на канал и каждый день читайте лучшие материалы про AI переведенные на русский!

Нашли интересную статью для перевода? Пришлите нашему боту: @ailongreadsbot