ChatGPT 4o сдал профильный ЕГЭ на 80+ баллов
С решением олимпиадных задач, даже довольно простого уровня, ChatGPT 4o справляется не очень хорошо. Возникла идея протестировать нейросеть на выполнении заданий ЕГЭ. Результат оказался довольно внушительным.
Задания первой части ЕГЭ я брал из демоверсии 2024 г., а второй части — из экзамена основной волны в Москве в 2024 г.
Первую задачу, на совсем простую планиметрию, чат решает без каких-либо затруднений. Вот пример решения одной из четырёх задач демоверсии:
А на второй задаче — элементарные действия с векторами — чат споткнулся. Причём в той модификации задачи, где векторы были заданы с помощью картинки.
Вот его решение:
Почему-то по картинке он не сумел правильно определить координаты начала и конца вектора. Но в тех модификациях задачи, где векторы задавались своими координатами, проблем для вычислений не возникло. Вот пример такой задачи и её решения:
Усреднённо я оценил решение этого номера в полбалла.
Третью задачу (стереометрия), четвёртую, пятую (вероятность) и шестую (простейшие иррациональные, показательные или логарифмические уравнения) ChatGPT решает без ошибок — задачи предлагались во всех возможных вариациях, приведённых в демоверсии.
В уравнении посторонние корни он отсеивает с помощью проверки.
Например, в этом уравнении он сперва избавляется от корня, возводя обе стороны в квадрат, приводит уравнение к стандартному виду, решая его по формуле, а после пишет:
Также легко чат справляется с заданием № 7 — преобразование тригонометрических, логарифмических, степенных выражений, подробно объясняя применение всех формул.
А в № 8 опять сбой — и проблема снова в графике.
Чат сообщает, что необходимо найти точки, в которых функция имеет отрицательный наклон, но после этого сообщает:
Несмотря на неверное решение, чат приходит к правильному ответу.
В другой возможной задаче этого задания демоверсии, где нужно определить по графику значение производной в точке по наклону касательной, проведённой в ней, чат ошибается в определении координат одной из точек, лежащей на касательной. В общем, с этим номером он не справился.
В задании № 9 (физического содержания) чат делает арифметическую ошибку в самом последнем действии. Он правильно подставляет данные в предложенную формулу:
Но при упрощении выражения не догадывается, что трёхзначные числа не нужно перемножать, а потом при обратном действии уже не справляется с арифметикой. Кстати, довольно поучительная ошибка!
Из трёх предложенных ему текстовых задач № 10 — на движение, на работу и на процентное содержание — ChatGPT с одной справился лишь со второй попытки (первый раз не сумел привести подобные слагаемые), а две решил правильно. Дадим ему снова полбалла.
В задаче № 11, где нужно было по графику квадратичной функции определить её значение в данной точке (за пределами приведённого рисунка), чат предлагает верный алгоритм решения, но при этом берёт какие-то очень странные точки, не имеющие никакого отношения к графику.
Задание № 12 — на определение точек минимума/максимума, наибольшее/наименьшее значение — выполняет правильно.
Таким образом, за первую часть экзамена ChatGPT получил 8 первичных баллов из 12.
Переходим ко второй части. Задание № 13 — тригонометрическое уравнение.
Имеем правильное решение первой части:
Во второй части задания чат сумел верно отобрать корни, но с точки зрения экспертной проверки ЕГЭ его решение не будет засчитано:
В итоге, за этот номер чат получает 1 балл.
Переходим к задаче по стереометрии, № 14.
Пункт а (в котором достаточно заметить, что прямая ОМ, принадлежащая плоскости параллельна ребру SA как средняя линия треугольника, в силу чего прямая и плоскость параллельны по признаку) ChatGPT решает крайне нерационально — координатно-векторным способом, доказывая компланарность векторов ОМ и МK с помощью определителя.
Пункт б он также считает координатным способом:
Несмотря на неоправданную громоздкость, решение верное, ставим 3 балла.
Показательное неравенство, № 15, было на ЕГЭ–2024 относительно простым:
После замены переменной чат привёл его к виду сравнения двух рациональных дробей с одинаковыми знаменателями. И затем решил сравнивать между собой числители, рассмотрев отдельно случаи положительности и отрицательности знаменателя, что мне показалось довольно странным:
Но в результате он вполне корректно пришёл к верному ответу:
Я спросил у него, может ли он решить это неравенство, используя метод интервалов. Он выдал какую-то странную расстановку знаков на интервале (3; 9):
Но в целом привёл к верному ответу (хотя и некорректно записанному, однако не будем придираться по мелочам):
В целом за решение ставлю полные 2 балла.
Экономическая задача, № 16, вполне типовая.
И чат с ней справляется легко. Построил матмодель, пришёл к верному ответу — полные 2 балла.
Теперь задача № 17, планиметрия.
Пункт а решён вполне приемлемо:
А в пункте б полный бред:
Итак, 1 балл за весь номер.
Далее, задача с параметром, № 18.
Чат анализирует графики уравнений системы:
Но затем делает неверный вывод о взаимном расположении графиков:
По критериям (задача верно сведена к исследованию взаимного расположения дуг парабол и лучей) ставим 1 балл.
Осталась целочисленная задача, № 19.
В пункте а чат находит пример такого распределения контейнеров, перебирая возможные варианты.
В пункте б он находит противоречие:
А в пункте в, хоть и приходит к правильному ответу, но плохо понимает, что от него требуется:
За это номер ставим 2 балла.
Получается, всего за вторую часть 12 баллов, а за весь экзамен — 20 баллов. По нынешней шкале пересчёта это 86 баллов — совсем неплохой результат!