Прокачиваем "step by step" рассуждения

Многим известно про знаменитый приём с использованием в промптах указаний на рассуждения "шаг за шагом" или "step by step". Такой подход даёт гарантию того, что машина начинает "рассуждать" перед тем, как дать итоговый ответ. И это действительно серьёзно повышает отдачу от GPT.

Самый эффективный способ, который нашли промпт-инженеры вручную — это просто добавить в конец промпта вот это:

Let's think step by step.

Фактически, это лучший Human-Designed промпт-приём. На специализированных бенчмарк-тестах он показывает 78.7% эффективности.

Automatic Prompt Engineer (APE)

А дальше за повышение результативности промптов взялись автоматизированные фреймворки.

Для любителей глубокой технической теории, подробнее вот тут: https://www.promptingguide.ai/ru/techniques/ape

Если в двух словах, то группа разработчиков запустила специализированную IT-систему, которая "перебирает" различные возможные варианты написания промптов и сама же оценивает эффективность их работы по специальным алгоритмам и метрикам. Да, это что-то типа А/В теста промптов.

И таким образом, нашлась более эффективная версия:

Let's work this out in a step by step way to be sure we have the right answer.

Эта вариация промпта показывает уже 82% эффективности. То есть на 3.3% лучше. С виду вы не заметите особой разницы, при этом в ряде особых случаев — вы получите решение там, где более простая версия просто не справиться с задачей и вы никогда об этом не узнаете.

Поэтому для своих задач мы его просто взяли, заменили и используем "как есть". Без лишних вопросов. Ведь фактически из множества таких "небольших приростов" и выстраивается итоговая добавочная эффективность. Особенно если такие "хаки" начать комбинировать друг с другом.

В заключении

Фактически, мы имеем дело с совершенно новым видом "программирования", в котором вы пишите уже не прямые команды, а более тонко и деликатно "слово за словом" описываете тот контур, который вам нужен.

И запрос к GPT это уже не просто "набор слов", а безусловно это "программа", которая выполняется на удалённом супер-компьютере с загруженными в неё терабайтами знаний, внутри которых она ещё и построила такие связи, которым её совершенно не учили.

И чем чётче, конкретнее и яснее вы опишите эту "программу", чем меньше двусмысленностей будет содержать вам промпт, тем больший прирост к эффективности ответов от GPT вы получите.

Цельтесь в своих запросах в самый максимально возможный результат, который вы только осмеливаетесь предположить.

Желаю вам успехов!

Эта авторская статья с канала GPT Spark, на котором я делюсь "выжимками" из опыта внедрения и использования GPT-4 для решения бизнес-задач. Подпишитесь и следите за новыми публикациями.

А в этой группе мы собираем самые полезные AI-инструменты, удобно разбивая их по категориям. Подпишитесь, чтобы быть в курсе самых новых нейронок.

---

Илья Капустин, IT-предприниматель.

TG: @viamvadens

Inst: https://www.instagram.com/viamvadens/