ИИ-нативное собеседование

Sierra полностью переосмыслила процесс технических собеседований для инженеров, отказавшись от стандартных задач на алгоритмы и код в пользу формата, при котором кандидат за два часа создаёт реальный продукт с помощью ИИ-инструментов.

Это AI-перевод статьи, сделанный каналом Про AI: Лучшие Статьи и Исследования.

ИИ-нативное собеседование

The AI-native interview Автор: Sierra Оригинальный текст:

Агенты для написания кода, такие как Codex и Claude Code, переворачивают привычные представления о разработке программного обеспечения. Роль инженера смещается от создания машины к её проектированию и настройке. Подобно тому, как инженеры перестали думать о том, как компилятор переводит код в машинные инструкции, теперь нам нужно меньше сосредотачиваться на конкретных строках кода и больше — на том, дают ли они нужные результаты в долгосрочной перспективе.

Это меняет то, что мы должны оценивать на собеседованиях. Когда один инженер способен строить на всех уровнях стека, его ценность определяется сочетанием технических навыков с продуктовым мышлением и пониманием бизнес-контекста. Такие люди не просто пишут код. Они определяют объём задач, принимают компромиссные решения и итерируют вместе с клиентами, чтобы создавать реальное воздействие. Мы полностью перестроили процесс найма инженеров, чтобы отразить эту новую реальность.

Постановка проблемы

Процесс инженерных собеседований в Sierra был вполне стандартным: два интервью по коду плюс интервью по алгоритмам, проектированию систем и культурному соответствию, а затем проверка рекомендаций. Это хорошо отработанный, масштабируемый подход, и долгое время он работал.

Но недавно что-то начало ощущаться не так. Большая часть сигнала, который мы получали на собеседованиях, касалась механики: набора синтаксиса в редакторе, запоминания деталей алгоритмов, сборки фреймворков воедино. Это всё больше диссонировало с новой реальностью нашей работы. Разрыв особенно ярко проявлялся на разборах. При отсутствии чётких сигналов с собеседований нанимающие менеджеры всё сильнее опирались на рекомендации и предыдущий опыт.

Мы начали выстраивать ИИ-нативный процесс собеседований с тремя ключевыми свойствами:

• Репрезентативность: отражает реальную ежедневную работу инженеров, охватывая инициативность, ответственность, суждения, понимание систем и продуктовое мышление.
• Высокая информативность: даёт нам ясность относительно того, в чём кандидат может блистать, а где ему может понадобиться поддержка.
• Позитивный опыт: собеседование должно быть увлекательным и аутентичным для кандидатов, чтобы при получении оффера они с энтузиазмом говорили «да».

Представляем ИИ-нативное очное собеседование

Мы убрали собеседования по коду и алгоритмам и заменили их ИИ-нативным очным форматом:

• Планирование: рабочая сессия с кандидатом для определения продукта, который предстоит создать. Кандидат ведёт генерацию идей, а интервьюеры задают вопросы, чтобы укрепить их. Мы фокусируемся на идее в области экспертизы кандидата, чтобы увидеть его продуктовое мышление в действии.
• Создание: интервьюер выходит, и кандидат воплощает идею в жизнь за 2 часа, используя ИИ-инструменты и фреймворки по своему выбору. У него полная свобода менять направление или корректировать объём по ходу работы.
• Обзор: кандидат демонстрирует то, что построил. Мы обсуждаем ключевые продуктовые сценарии и принятые решения; просматриваем код, чтобы оценить техническое суждение (модель данных, абстракции, расширяемость и т. д.); и обсуждаем путь к продакшену. Мы также подробно разбираем, как кандидат использовал ИИ в процессе.

Мы обнаружили, что этот новый формат гораздо более эффективен. Поскольку кандидаты могут реально создавать во время очного собеседования — а не просто рассказывать о том, что они могли бы создать — формат одновременно и более репрезентативен для реальной работы, и даёт более сильный сигнал. Гораздо проще оценить их инициативность (меняют ли они направление, столкнувшись с тупиком?) и суждение (как они определяют объём того, что нужно создать в рамках ограниченного времени?).

Формат также более увлекателен, даже если поначалу кандидаты нервничают. Для формирования ожиданий мы заранее делимся критериями оценки и рекомендациями. Например, вполне допустимо сокращать объём в процессе работы и пропускать boilerplate (шаблонный код) (CRUD, авторизацию), чтобы сосредоточиться на уникальном. Как сказал Пол Бакхейт, создатель Gmail: если продукт великолепен, ему не обязательно быть хорошим.

Доработка остальной части процесса

По мере отладки ИИ-нативного очного собеседования мы также переосмыслили остальную часть процесса найма. Наш телефонный скрининг по коду всё ещё требовал от кандидатов писать код без ИИ в онлайн-редакторе. Но vibe coding (разработка в свободном стиле) приложения — это слишком просто. Более сложная и релевантная задача — довести его до продакшена масштабируемым способом. Поэтому мы заменили телефонный скрининг на собеседование по проектированию систем, чтобы лучше это отразить.

Хотя ИИ-нативное очное собеседование проверяет продуктовое чутьё и создание с нуля (0->1), оно не охватывает масштабирование фичи (1->N) в существующей, запутанной кодовой базе. Чтобы решить эту проблему, мы тестируем собеседование по отладке. Кандидаты получают кодовую базу среднего размера и черновой PR от коллеги, который добавляет сквозную функциональность. Их задача — провести ревью и улучшить его: скачать код, проверить результат и итерировать с помощью агентов для кодинга, чтобы сделать его лучше. Степень использования ИИ на этом собеседовании пока обсуждается, поскольку новые модели могут исправлять многие проблемы за один проход (zero-shot).

Что мы узнали?

Мы нанимаем за сильные стороны, а не просто за отсутствие слабых. Такой подход даёт нам гораздо более богатый сигнал о пиках и пробелах кандидата. Например, некоторые люди прекрасно справляются с продуктовой стратегией и инициативой, но имеют пробелы в понимании систем. Наши разборы сместились с вопроса «стоит ли нам нанимать этого человека?» к вопросу «где этот человек будет процветать и как мы можем его поддержать?»

Мы просим каждого кандидата дать обратную связь, и многие говорят, что это было самое увлекательное собеседование в их жизни. Один любитель викторин создал ИИ-игру, задуманную для того, чтобы держать пользователя в состоянии потока — демонстрация заключалась в том, что интервьюер просто играл в неё. В другом случае бэкенд-инженер создал инструмент для headless-симуляции и использовал агента с markdown-файлом для проведения демонстрации.

У этого формата есть и сложности. Он открытый, что затрудняет стандартизацию. Чтобы смягчить это, мы разработали набор критериев оценки, не зависящих от того, что именно создаёт кандидат, и проводим собеседования парами для улучшения калибровки. Мы также обсуждали, применим ли этот подход для инфраструктуры, и пришли к выводу, что да — многие инфраструктурные инженеры сейчас создают full-stack инструменты или агентов и тесно работают с продуктом для вертикальной интеграции с потребностями клиентов. Тем не менее, мы немного скорректировали собеседование, чтобы лучше улавливать нужный сигнал для инфраструктурных позиций.

Появление высокопрофессиональных агентов для кодинга заставляет нас переосмыслить Sierra с нуля — от того, как мы строим (используя агентов для создания и оптимизации других агентов с помощью Ghostwriter), до того, как мы нанимаем. Учитывая темпы изменений, это только начало. И да, мы всё ещё ищем людей. Если вам интересно помочь строить это вместе с нами, узнайте больше здесь: sierra.ai/careers.

Подпишитесь на канал и каждый день читайте лучшие материалы про AI переведенные на русский!

Нашли интересную статью для перевода? Пришлите нашему боту: @ailongreadsbot