Как заставить ChatGPT думать лучше?

Помню ощущение, когда в детстве, ты сидишь и смотришь на математическую задачу, а в голове звенящая пустота. Даже условия задачи не поняты, не говоря уж о решении. А потом подходит бабушка и спокойным голосом говорит:

— Давай думать, шаг за шагом...

И логика решения задачи начинала выстраиваться, вводные становились понятнее, а потом появлялось решение.

Оказывается, "думать" шаг за шагом может и искусственный интеллект, так он значительно лучше решает не только математические задачи, но и в целом выдает более корректные ответы.

В этом тексте, я расскажу, как применить этот хак на практике

Для примера возьмем задачу за шестой класс из учебника математики

Коле - 12 лет, а профессору Селезнёву - 42. Через сколько лет Коля будет вдвое младше профессора?

Оформляю условие задачи через #PROMPT

#ChatGPT моментально выдает ответ. Неправильный.

Нам неизвестно, как модель пришла к такому решению и верно ли она поняла условия задачи. Давайте попросим ее поделиться ходом мыслей. Добавим в конце #prompt'а волшебную фразу "Давай думать шаг за шагом".

Теперь #ChatGPT будет показывать ход своих "мыслей". Получаем такой результат:

Ответ верный, но логика совершенно мне непонятная, как и шестикласснику, который решит воспользоваться помощью искусственного интеллекта.

Хорошо, давайте поправим волшебную фразу в #prompt'е. Исправляем на "Давай думать и решать шаг за шагом". Тем самым просим модель брать во внимание структуру своих "размышлений" и опираться на нее в решении задачи.

#ChatGPT выдает решение задачи:

Фуф. Сейчас и ответ верный и логика решения корректная.

Как выяснили ученые из Токийского университета в статье «Large Language Models are Zero-Shot Reasoners 129», фраза «Давай думать шаг за шагом» или “Let’s think step by step” в конце #prompt'а, резко повышает точность ответа в GPT-3. Так что пользуйтесь!