ML Breadth Interview Deep Dive

Сегодня расскажу про самый популярный раунд ML интервью. Этот этап встречается в компаниях любого уровня — от стартапов до FAANG-ов, от джунов до стаффов — как в западных компаниях, так и отечественных. Очень часто секцию Breadth ставят на этапах скрининга или на ранних интервью, где самая большая воронка кандидатов и нужно отфильтровать большинство.

В статье в основном сделаем фокус на зарубежные компании и разберем:

• Типы вопросов
• Разница в ML Breadth секции для стажера и сеньора; для рисерчера и ML инженера
• Примеры вопросов ML Breadth секции реальных компаний: от Mistral AI до DeepMind.
• Небольшой список ресурсов для подготовки к интервью

Как видно из названия, в этой секции проверяют общие знания ML концепций и умение применять их на практике. На мой взгляд, это один из самых сложных раундов: темы охватывают широкий спектр, зачастую требуют глубоких «книжных» знаний, которые сложно поддерживать в свежем состоянии.

Типы вопросов

Начну с попытки категоризации вопросы, которые могут встретиться на интервью. Список условный, но по опыту хорошо отражает суть.

• Фундаментальная математика. Здесь спрашивают про линейную алгебру и математический анализ: что такое норма, какой смысл скалярного произведения векторов, критерии дифференцируемости функций. Да, иногда как на экзамене в универе.
• Численные методы. Отдельно вынесу это в категорию, потому что вопросы на тему, как работает Градиентный Спуск, по опыту, это что-то essentials. Да и в целом тема оптимизации функций крайне важна на практике, поэтому закопаться тут можно глубоко. Следует хорошо понимать вариации методов, их математическое обоснование. Конечно, математический аппарат за всем этим.
• Теория вероятностей. От базовых определений случайных величин до практических расчетов. Например, если система за год N раз выходила из строя независимо, какова вероятность следующего сбоя и что такое экспоненциальное распределение времени до отказа. Если такой вопрос попадается на интервью, то он, как правило, про то, чтобы решить на листочке какую-нибудь задачу на расчет вероятности.
• Статистика. Тут либо про тестирование гипотез, либо стат тесты, либо в более размытом случае про проектирование своего A/B теста на какую-нибудь заданную интервьюером фичу.
• ML теория. Здесь обсуждают обобщенные концепции машинного обучения, например: bias–variance trade‑off, регуляризацию, оптимизацию функции потерь, принципы ансамблирования. В общем, все что можно встретить в классическом курсе по машинному обучению.
• DL теория. Основы глубинного обучения: почему работает обратное распространение ошибки, какие есть виды слоев, что такое vanishing/exploding gradient, принципы нормализации и инициализации весов. Интересно, что по моему опыту 1-2 вопроса этой категории всегда звучат на интервью (и по своему опыту интервьюирования спрашиваю что-то такое) и кандидаты часто не могут ответить на достаточном уровне. Вопрос, как устроен backprop регулярно вводит кандидатов в ступор. То же самое и про смысл операции свертки.
• ML методы. Эта часть конкретно про теорию за популярными алгоритмами и концепциями машинного обучения. Как работает логистическая регрессия? А почему Random Forest лучше одного дерева? Как устроен градиентный бустинг? А как кластеризует DBSCAN. Тут же нужно быть готовым обсуждать и математический аппарат методов. 
• DL методы. То же, что и пункт выше, но в контексте DL. Какие есть методы, как они работают. Самая популярная тема сейчас - это устройство трансформеров и их модификации.
• ML метрики / функции потерь. Отдельный пункт о том, как оценивать “полезность” моделей. В отечественных компаниях излюбленная тема спрашивать про метрики ранжирования и смысл ROC AUC кривой. На западе скорее про смысл популярных способов оценки задачи классификации / регрессии.  Функции потерь тоже не стоит игнорировать. Смысл log-loss, смысл KL-дивергенции или как устроен ELBO (Evidence Lower Bound) любят спрашивать.
• ML/DL приложения. Мини ML Design, скорее с фокусом на техническую часть. Дается какая-то задача и нужно придумать пайплайн, чтобы свести условия к задаче машинного обучения. Так как это внутри секции ML Breadth, то детализация скорее нужна только на одном конкретном шаге, а не всем пайплайне.

Конечно, на практике тематика будет сужаться в соответствии с вашей ролью. Для LLM‑инженера AI Safety стартапа вопросы будут затрагивать трансформеры и RL‑техники обучения; для кредитного скоринга — бустинг‑модели и Gini. То есть так или иначе пространство тем сужается в ваш домен.

Разница в ML Breadth секции для стажера и сеньора; для рисерчера и ML инженера

А что реально ждать на интервью, уход в глубокую теорию или практику? Перечисленные выше категории в целом разнятся от чисто теоретических знаний до полезно прикладных. Так чего ожидать? Для этого есть две варьирующиеся переменные:

• грейд, на который собеседуетесь. От стажера до стаффа.
• уровень рисерча в команде / организации, куда собеседуетесь. От полностью академической деятельности до полностью продуктовой команды. 

Разберем первую ось. Чем более джуновая позиция, тем больше упора в вопросах будет на “книжные” знания. Интервьюеры будут целенаправленно искать сигнал о качестве знаний в темах про основы, поэтому тут могут всплыть и действительно сложные штуки (о которых сеньоры уже и не вспомнят в деталях). В то же время у более опытных кандидатов могут смотреть на специфичные прикладные вещи (расскажите про обучение моделей в разных точностях: от fp8 до fp32, преимущества и недостатки). Если у вас много опыта и идете на миддл+, то это вовсе не значит, что не могут спросить что-то из фундаментальных вещей. Тут дело скорее в плотности вопросов и детализации ответов. У джуновых ролей есть тенденция задерживаться на вопросах дольше и уходить в них глубже.

По второй оси такая же логика. В продуктовых ролях нет смысла копать в теорию, гораздо ценнее сигнал о прикладных вещах. Например, нет большого смысла говорить про теоретическую сходимость градиентных методов. А вот почему используется Layer Norm в трансформерах - вполне.  На рисерч ролях же скорее наоборот. По крайней мере во время интервью.

Как проходит интервью?

У некоторых компаний есть выделенная секция под такой раунд. 45-60 минут вас будут спрашивать вопросы в “ширину”. В других же местах эта секция может быть комбинированна с еще каким-то типом интервью. Например, стандартный пайплайн: ML Design + ML Breadth, ML Coding + ML Breadth, Behavioural + ML Breadth. В таком случае, минут 15-25 будут отведены на вопросы про ML, а оставшееся о чем-то еще. 

Так или иначе, если видите в списке предстоящих интервью что-то связанное с Breadth, будьте готовы на подобную секцию.

Примеры вопросов ML Breadth секции реальных компаний: от Mistral AI до DeepMind.

1.На мой взгляд в 2025 каноном ML Breadth секции, которая укладывается в категоризацию вопросов, как я описал выше, является DeepMind. Вот у них прям целый раунд копания в ширину на усмотрение интервьюера. Тут и матан, и чисмет, и тервер универского образца спросят. Спокойно можно ожидать дискуссию с похожими вопросами: 

Опишите, что такое выпуклая функция? Какую роль выпуклость функции играет в машинном обучении? Что такое градиентный спуск? Что такое алгоритмы оптимизации второго порядка? Как можно использовать вторую производную в алгоритмах оптимизации? Опишите метод Ньютона. Откуда он берётся? Как его можно адаптировать для поиска минимума функции? Какова формула ряда Тейлора? Почему она имеет смысл? Почему в формуле есть член 1/n!? Что такое формула Байеса? Можете привести пример? Что такое обратимая матрица? Какие условия должны выполняться? Какие существуют процедуры для обращения матрицы? Можете описать метод Гаусса для обращения матрицы?

Если будете при подготовке к интервью держать в голове дотошность формата интервью ДипМайнда, то скорее всего не прогадаете.

2.В AI стартапы /  крупные AI ориентированные компании стало популярно уходить от совсем теоретической части и фокусировать “ширину” внутри одной темы. Например, про устройство работы LLM-ов. Вот у Мистраля есть секция LLM Quiz, где 45 минут вам задают вопросы про детали обучения LLM и разные нюансы (ссылка на отзыв про интервью в Мистраль). Если компания фокусируется на TTS, то дискуссия будет вокруг этой темы. Например, ElevenLabs спрашивает на рисерч инженеров специфику устройства аудио кодеков и способы кодирования иерархического типа данных в авторегрессионных моделях.

3.Часто секция идет в комбинации с другим типом интервью (например, ML кодинг). Поэтому спрашивают пару вопросов, от тер вера до устройства работы конкретных ML методов, и идут к следующей секции. Иногда просят вас самих выбрать любимый метод машинного обучения и рассказать про него. Или рассказать про функции потерь. Или про метрики. То есть как бы и теоретический вопрос, но и отсылка к практической стороне тоже. Подобный формат ML Breadth раунда у Snapchat или Nebius. Его можно очень часто встретить и в отечественных IT компаниях.

4.Редкая, но встречающаяся форма ML Breadth интервью, это когда теория совмещается с кодингом. То есть вам дают задачу написать код. Но для начала нужно подвести некоторый мат аппарат под это дело. И вот в этих рассуждениях уже включается теор вер, линал. Пример подобной задачи, где есть немного теор вера:

Write a function weighted_random_choice(weights: Dict[Any, float]) -> Any that returns a key at random, with probability proportional to its weight.

Подобные комбинированные раунды на ML позициях очень любят OpenAI.

5. Упомяну и ML инженерные роли в FAANG-и. Тут все упирается в то, идете вы на рисерч роль или ML продуктовую роль. Вторая самая популярная. Так вот, на них, сюрприз, но вообще может не быть ML Breadth раунда. Вся проверка ваших навыков будет определяться в другом ML System Design Interview. А вот если вы пойдете на рисерч роль (например, Applied Scientist в Амазоне), то скорее это будет похоже на формат DeepMind-а, где могут побросать в разные темы.

6. Большим столпом стоят финансовые организации. Сюда попадают все компании, что так или иначе связаны с ML-трейдингом (HFT фонды, Jane Street, рисерч роли Goldman Sachs). У них спокойно можно ожидать от ML Breadth секции заковыристых задачек на тер вер, а иногда и за его пределами.

А как готовиться?

Тут каждому нужно найти свой удобный для восприятия источник информации. Одного универсального рецепта нет. Кому-то лучше зайдут книги и статьи, а кому-то хочется лекций с выводом формул.

Оставлю подборку ссылок, которые сам нахожу полезными для себя.

1. Курсы лекций от Евгения Соколова по введению в машинное обучение
2. Легенадарная специализация Andrew Ng на курсере про введение в Deep Learning
3. Канал Стэнфорда с огромным количеством плейлистов записей курсов по ML / DL
4. Список вопросов про оптимизацию, математику, тер вер в книге от Chip Huyen
5. Курса Анатолия Карпова на Stepik про основы статистики
6. Книга от Ian Goodfellow про теорию Deep Learning
7. Leetcode / Neetcode с вопросами про математику / тервер на программирование