Фрагмент экспресс-тестов Grok 3

INVENTORUS

Можно тестировать всем, но только "пока серверы не расплавятся"

Насколько хорошо Grok 3 справляется с логическими задачами? Сможет ли чат-бот найти актуальные статьи по запросу?

🔵 Логические рассуждения

Вот одна из задач, которую мы попросили Grok решить в режиме Think:

Ответ модели:

На склад привезли три автомата для напитков: один выдаёт только чай, другой — только кофе, а третий — чай или кофе случайным образом. На каждом автомате есть этикетка: "чай", "кофе" или "чай или кофе", но все этикетки наклеены неправильно. Задача состоит в том, чтобы определить, какой автомат что выдаёт, используя как можно меньше монет, где каждая монета позволяет получить один стакан напитка.

Обозначим автоматы как A, B и C с соответствующими этикетками:

Автомат A: этикетка "чай",

Автомат B: этикетка "кофе",

Автомат C: этикетка "чай или кофе".

Поскольку все этикетки неправильные, можно сразу сделать выводы о том, чем не является каждый автомат:

Автомат A ("чай") не выдаёт чай,

Автомат B ("кофе") не выдаёт кофе,

Автомат C ("чай или кофе") не выдаёт чай или кофе случайным образом.

Из последнего следует, что автомат C, имеющий этикетку "чай или кофе", не может быть случайным автоматом, а значит, он либо выдаёт только чай, либо только кофе. Это ключевая подсказка, которая поможет нам решить задачу.

Шаг 1: Используем одну монету

Давайте кинем монету в автомат C (с этикеткой "чай или кофе") и посмотрим, что он выдаст. Возможны два исхода:

Случай 1: Автомат C выдаёт чай.

Случай 2: Автомат C выдаёт кофе.

Поскольку автомат C не может быть случайным (из-за неправильной этикетки "чай или кофе"), его результат однозначен:

Если он выдаёт чай, то это автомат "чай".

Если он выдаёт кофе, то это автомат "кофе".

Шаг 2: Анализ результатов

Рассмотрим каждый случай отдельно.

Случай 1: Автомат C выдаёт чай

Если автомат C — это автомат "чай", то остаются автоматы A и B, которые должны быть "кофе" и "случайным". Проверим, как это соотносится с их этикетками:

Автомат A имеет этикетку "чай". Поскольку "чай" уже занят автоматом C, автомат A не может быть "чай" (да и этикетка всё равно неправильная). Значит, он может быть либо "кофе", либо "случайным".

Автомат B имеет этикетку "кофе". Если бы он был "кофе", то этикетка была бы правильной, но по условию все этикетки неправильные. Следовательно, автомат B не может быть "кофе" и должен быть "случайным".

Тогда автомат A остаётся "кофе".

Проверим корректность:

Автомат A: этикетка "чай", выдаёт "кофе" — неправильно.

Автомат B: этикетка "кофе", выдаёт "случайный" — неправильно.

Автомат C: этикетка "чай или кофе", выдаёт "чай" — неправильно (так как "чай" — это не случайный выбор).

Все этикетки действительно неправильные, значит, распределение верное:

A — "кофе",

B — "случайный",

C — "чай".

Случай 2: Автомат C выдаёт кофе

Если автомат C — это автомат "кофе", то остаются автоматы A и B, которые должны быть "чай" и "случайным". Проверим:

Автомат A имеет этикетку "чай". Он не может быть "чай" (этикетка была бы правильной, что противоречит условию), а "кофе" уже занят автоматом C. Значит, автомат A — "случайный".

Автомат B имеет этикетку "кофе". Поскольку "кофе" — это автомат C, а этикетка "кофе" на B неправильная, автомат B должен быть "чай".

Автомат C — "кофе".

Проверим корректность:

Автомат A: этикетка "чай", выдаёт "случайный" — неправильно.

Автомат B: этикетка "кофе", выдаёт "чай" — неправильно.

Автомат C: этикетка "чай или кофе", выдаёт "кофе" — неправильно (так как "кофе" — это не случайный выбор).

Снова все этикетки неправильные, значит, распределение верное:

A — "случайный",

B — "чай",

C — "кофе".

Вывод

Используя всего одну монету в автомат C (с этикеткой "чай или кофе"), мы можем определить, что он выдаёт:

Если он выдаёт чай, то: C — "чай", A — "кофе", B — "случайный".

Если он выдаёт кофе, то: C — "кофе", A — "случайный", B — "чай".

В обоих случаях условие неправильных этикеток выполняется, и нам не нужно тратить дополнительные монеты, так как остальные автоматы определяются логически. Таким образом, достаточно одной монеты, чтобы решить задачу.

Ответ: Для определения, какой автомат что выдаёт, нужно использовать 1 монету.

Вывод: Модель успешно справилась с решением этой задачи. Более того, при решении более сложных вопросов модель может предложить не один, а несколько вариантов рассуждений, каждый из которых будет аргументирован. Подход Grok-3 выглядит более глубоко проработанным и последовательным.

🔵 Математические операции

Продолжаем испытывать режим Think.

С этой легкой задачкой модель справилась почти мгновенно

Ответ модели:

Чтобы решить задачу, обозначим изначальное количество человек в поезде как x.

На первой остановке из поезда вышли 19 пассажиров, значит, осталось

x - 19

человек. Затем в поезд вошли 17 пассажиров, и количество человек стало

x - 19 + 17.

Согласно условию, после этого в поезде оказалось 63 человека. Таким образом, можно составить уравнение:

x - 19 + 17 = 63

Теперь упростим выражение:

x - 2 = 63

Чтобы найти x, прибавим 2 к обеим сторонам уравнения:

x = 63 + 2

x = 65

Проверим: если изначально было 65 человек, то после выхода 19 осталось

65 - 19 = 46, а после входа 17 стало 46 + 17 = 63.
Это соответствует условию задачи.

Ответ: Изначально в поезде было 65 человек.

Вывод: Grok-3 без труда справляется с простыми вычислениями.

Задачка посложнее:

Здесь решение заняло 34 секунды и результаты не сразу были однозначно верными

Ответ модели:

На первом шаге видим корректный подход к решению, но результат оставляет желать лучшего

Первая итерация улучшений приближается к верному решению

На этом шаге модель дополнительно сравнивает свой ответ с верным

Выводы приятно впечатляют - всего несколько дней назад модель "промахивалась" с вычислениями примерно на 20 тысяч, даже имея в базе данных верный ответ. В настоящее время она способна оценить корректность своих решений и прийти к наиболее близкому ответу

🔵 Творческое письмо

Несмотря на то, что сюжет, который нужно было учесть модели в своей работе, максимально прост и не содержит сложных поворотов и большого количества персонажей, Grok провел 20 операций-рассуждений о стиле изложения, степени подробности деталей и художественных приемах, которые доступны для использования в таком сжатом объеме текста

Вывод: с написанием текстов эта модель справляется так же отлично, как нашумевший DeepSeek и многие другие.

🔵 Поиск актуальных данных

В процессе тестирования мы обратили внимание на гипотезу о том, что результаты, получаемые Grok 3, могут существенно зависеть от языка запроса, поскольку модель может отдавать предпочтение источникам на том же языке. Для проверки этой гипотезы мы провели серию экспериментов, сравнивая ответы модели на идентичные запросы, сформулированные на разных языках.

При вводе запроса на русском языке получаем 15 источников исключительно из RU-сегмента интернета. В основном в результатах поиска - источники с высокой видимостью в поисковых системах. Видим ссылки на различные интервью, при этом год публикации может быть как близок к актуальному, так и уходить далеко в прошлое - в списке есть источники 2017 года или без даты вовсе. Режим - Think

Однако, положительным отличием от результатов тестов того же DeepSeek является появление в этом списке ссылок на научно-электронную библиотеку Elibrary, а также ссылок на признанные российским научным сообществом научно-популярные издательства, такие как NakedSсience и Постнаука.

Смена языка заставила модель подзадуматься. Результат поиска в режиме Think - 5 постов в X и 15 ссылок на сайты

Посты в X - достаточно свежие и принадлежат ученым, поделившимся ссылками на свои научные публикации

Практически все ссылки ведут на реальные научные исследования. Однако, сюда прокралась Википедия.

Приятно радуют ссылки на Nature и Science Direct

В режиме DeepSearch процесс поиска занял чуть больше минуты, что существенно меньше, чем в режиме Think

В результатах - ссылки исключительно на научные издания

При этом ниже выводится подробная информация о проанализированных источниках, в том числе ключевые выводы и общий обзор по теме.

Вывод: первичные наблюдения подтверждают, что эффективность Grok 3 в обработке научно-технической информации во многом зависит от языка запроса и от выбранного режима поиска.
При использовании английского языка и режима DeepSearch предоставляются достаточно подробные и точные ответы, ссылающиеся на актуальные англоязычные источники. Запросы на русском и других языках в целом снижают качество ответов и модель начинает ссылаться на менее авторитетные или устаревшие источники.

Заключение

Grok 3 — это классическая закрытая мощная модель, созданная с использованием обширных данных и ресурсов. Она достойной справляется с задачами по типу вычислений и поиска информации, поэтапно прорабатывая один или несколько аргументированных путей решения. Режимы Think и DeepSearch значительно расширяют способности базовой версии, ускоряя генерацию ответов.

Главным недостатком Grok 3 на сегодняшний день можно считать подтвердившуюся гипотезу о зависимости качества ответа от языка запроса: наиболее релевантные данные возможно получить, формулируя задачи на английском языке. Это может накладывать ограничения в скорости и качестве работы пользователей, опирающихся на многоязычные данные, а также приводить к значительному сужению выборки релевантных источников информации.

Ранее мы также проводили тесты модели DeepSeek‑r1, которая продемонстрировала высокую точность в математических вычислениях и аналитических задачах, однако испытывала трудности в работе с НТИ. DeepSeek и Grok 3 в данном случае демонстрируют абсолютно разные подходы к развитию технологии, поскольку в первом случае исходный код остается открытым для использования и доработок, в то время как разработчики xAI такой возможности не представили.

💥 Бонус: небольшая подборка видео о создании игр при помощи Grok 3

Провальный тест с шариком в шестиграннике, завирусившийся в Х. В оправдание Grok 3 стоит сказать, что задача была поставлена в базовом режиме. После подключения модуля Think проблема была решена. Автор — Theo - t3.gg (X)

А это - результат по запросу создать файл HTML с кодом для 3D-лабиринта. В промпте модели получили ссылку на готовую 3D-модель Клона из «Звёздных войн» из открытой библиотеки. Автор — Ben Dower (X)

А вот игра, рассчитанная сразу на двух людей. Автор — Daniel Farinax (X)

Мы рады, что вы с нами!

Фрагмент экспресс-тестов Grok 3

Report Page