Последствия масштабного test-time compute

По мере роста возможностей больших языковых моделей результаты бенчмарков (*эталонных тестов*) всё больше определяются вычислительными ресурсами на этапе инференса (*вывода модели*). Скорее всего, мы даже не знаем истинного потолка возможностей современных LLM, потому что измерить его слишком дорого. Пора менять подход к оценке моделей.

Это AI-перевод статьи, сделанный каналом Про AI: Лучшие Статьи и Исследования.

Последствия масштабного test-time compute

Implications of Large-Scale Test-Time Compute Автор: Noam Brown Оригинальный текст:

Кратко: По мере того как большие языковые модели становятся всё мощнее, результаты бенчмарков всё больше определяются объёмом вычислений на этапе инференса (test-time compute). Более того, мы, вероятно, не знаем, каков потолок возможностей современных LLM, потому что его измерение обходится слишком дорого. Нам следует изменить подход к оценке LLM, чтобы учитывать этот фактор, — измеряя производительность в зависимости от количества токенов (единиц текста), стоимости или времени.

В день выхода GPT-5.5 первой реакцией был скептицизм. Показатели бенчмарков стали лучше, но не намного.

Однако через несколько часов, когда люди успели поэкспериментировать с моделью, стало ясно, что это качественный скачок по сравнению с GPT-5.4. Классическая «таблица бенчмарков» явно не рассказывала всей истории. Почему?

Причина становится яснее, если сравнить GPT-5.5 и 5.4, расположив количество токенов на оси X.

GPT-5.5 оценивалась не при том же бюджете токенов (или долларовом бюджете), что и 5.4. Если мы контролируем объём вычислений на этапе инференса, 5.5 оказывается существенно сильнее 5.4.

Когда я обсуждаю это, люди часто спрашивают: почему бы просто не оценивать модели с помощью оснастки, которая наращивает test-time compute до тех пор, пока производительность не выйдет на плато? Проблема в том, что эмпирически плато находится очень далеко. Иногда мы можем вообще не наблюдать плато в пределах практически реализуемых бюджетов. Вот эксперимент @karpathy с автоматическими исследованиями, где производительность продолжает расти даже после сотен экспериментов.

А вот кибероценка @AISecurityInst, где производительность Mythos и GPT-5.5 продолжает стремительно расти даже после 100 миллионов токенов.

Обратите внимание: у более сильных моделей прирост производительности со временем оказывается более значительным. Похоже, что по мере того как модели становятся сильнее, они эффективнее работают на длинных горизонтах. Точка выхода на плато отодвигается и может вовсе исчезнуть.

По этой причине я убеждён, что правильный способ оценки моделей — это график «производительность vs test-time compute», где на оси X располагаются токены, стоимость или реальное время выполнения. Некоторые бенчмарки уже двигаются в этом направлении. Например, ARC-AGI измеряет результат в зависимости от стоимости.

Ещё один разумный вариант — задать явный бюджет по токенам, времени или стоимости и сообщить его модели. Это аналогично тому, как оценивают людей: на SAT или Международной математической олимпиаде тоже есть временные ограничения.

У каждого варианта оси X свои компромиссы. Токены нельзя напрямую сравнивать между моделями, потому что токенизаторы, скорость и стоимость за токен различаются. Доллары зависят от деталей реализации — таких как батчинг и загрузка оборудования, — поэтому стоимость и задержка могут быть взаимозаменяемы. Наконец, реальное время — несовершенная метрика, потому что мультиагентные техники вроде best-of-N позволяют масштабировать test-time compute без значительного увеличения задержки. Тем не менее любая из этих кривых информативнее, чем одно-единственное число.

Последствия для AI Preparedness

Перед выпуском передовой модели лаборатории обычно оценивают кибер-, био- и другие риски злоупотреблений. Если модель пересекает порог возможностей, выпуск может быть отложен до введения мер защиты. Но если возможности зависят от объёма вычислений на инференсе, при каком бюджете инференса следует проводить оценку безопасности?

На практике большинство оценок безопасности при выпуске моделей не учитывают объём инференса, затраченного на модель. Выпуск Gemini 3 Deep Think и последовавшее возмущение — наглядный пример.

Когда Gemini 3 Deep Think был выпущен, его показатели бенчмарков оказались значительно выше, чем у предыдущих моделей. Однако вместе с ним не была опубликована карточка модели с оценкой рисков.

Это вызвало возмущение в части сообщества AI safety (безопасности ИИ).

На мой взгляд, критика релиза DeepMind упустила более глубокую проблему: ИИ-лаборатории и организации по безопасности не учитывают систематически test-time compute при оценке моделей перед выпуском.

Deep Think, по всей видимости, представляет собой scaffold (каркасную оркестрацию) других моделей, у которых есть системные карточки. Любой мог бы воспроизвести такой scaffold извне. Иными словами, вполне вероятно, что возможности Deep Think были доступны каждому, кто готов заплатить за соответствующий объём инференса, — просто оркестрируя множество запросов к модели. Deep Think лишь делает это удобнее для обычного пользователя.

По моему мнению, настоящее возмущение должно было быть направлено на то, что при выпуске Gemini 3 и других моделей их системные карточки не измеряли производительность бенчмарков как функцию test-time compute. В моём идеальном мире оценки моделей выглядели бы примерно так:

Целеустремлённое государство может потратить более 10 миллионов долларов инференса на одну задачу. Но оценка модели обычно включает тысячи, если не миллионы прогонов, поэтому оценивать при таких высоких бюджетах каждый прогон было бы непрактично. К счастью, производительность, судя по всему, масштабируется довольно предсказуемо с объёмом применяемых вычислений. По этой причине мы можем оценивать при относительно низких бюджетах инференса, а затем экстраполировать (с указанием неопределённости), какими могут быть возможности при значительно более высоких бюджетах.

Оценки на длинных горизонтах могут создавать сложности, которые не всегда решаются экстраполяцией с меньших бюджетов. Например, может оказаться, что единственный способ уверенно оценить несогласованность (misalignment) ИИ-агента на горизонте в один год — это действительно запустить агента на год. ИИ-лаборатории вскоре могут оказаться в странной ситуации, когда операционный горизонт их агентов превышает цикл разработки новых моделей. В этот момент может стать невозможным завершить оценку модели за максимальное время её эксплуатации до выпуска, не откладывая сам выпуск.

Конкретные рекомендации

Конкретно я рекомендую ИИ-сообществу следующее:

1. ИИ-лаборатории должны публиковать результаты бенчмарков новых моделей с токенами, стоимостью или временем на оси X. Как минимум, лаборатории должны указывать бюджет инференса, использованный для достижения скалярного результата бенчмарка.

1. Бенчмарки должны отслеживать использование инференса в таблицах лидеров или иметь явный бюджет по токенам, стоимости или времени. Многие бенчмарки уже сдвинулись в этом направлении, но это пока не стало стандартной практикой.

1. Preparedness Frameworks и Responsible Scaling Policies должны явно учитывать вычисления на инференсе при определении того, пересекает ли модель порог безопасности. Кроме того, оценки должны прогнозировать возможности при нескольких бюджетах инференса, включая экстраполяцию с меньших бюджетов с указанием неопределённости.

Если вы давно за мной следите, всё в этой статье может показаться не новым. Мы знаем с момента анонса o1 в сентябре 2024 года, что производительность reasoning-моделей (моделей рассуждения) масштабируется с увеличением вычислений на инференсе.

И тем не менее, спустя почти два года, передовые ИИ-лаборатории по-прежнему обычно публикуют одно-единственное число бенчмарка для новых моделей; организации по безопасности ИИ по-прежнему удивляются, когда scaffold показывает лучший результат за счёт 100-кратного бюджета инференса; а Preparedness Frameworks и RSP по-прежнему часто игнорируют использование вычислений на инференсе при определении того, достигает ли модель критического уровня возможностей.

Самые свежие модели способны использовать test-time compute эффективнее, чем когда-либо, отодвигая плато производительности ещё дальше. Если эта тенденция продолжится — а я в этом совершенно уверен, — результаты бенчмарков, не учитывающие использование вычислений на инференсе, с каждым циклом выпуска моделей будут становиться всё менее информативными. Поэтому пришло время сделать бюджет инференса полноценной частью как измерения возможностей, так и политики безопасности.

Подпишитесь на канал и каждый день читайте лучшие материалы про AI переведенные на русский!

Нашли интересную статью для перевода? Пришлите нашему боту: @ailongreadsbot