Надо просто уметь его готовить (нет)

Разговорились тут в комментариях в канале о том что ИИ надо просто "уметь готовить". С одной стороны я согласна - надо уметь. С другой - я пока не вижу для себя смысла его готовить.

Вот я прошу ChatGPT посчитать, сколько букв R в слове strawberry. Еще несколько месяцев назад он упорно говорил что букв всего две, и весь интернет угорал над этим. Смотрится так, что робот, наконец, научился считать буквы в слове.

Дальше мне стало интересно, научился ли он считать буквы в словах вообще, или только в слове strawberry. Я открыла новую сессию в режиме инкогнито и попросила посчитать буквы О в слове "обороноспособность".

Ну ок, получается на слове strawberry он научился считать только до трех. Обратите внимание, что он неправильно пишет слово "обороноспособность" - он просто выкидывает "о" после буквы "н". Прошу пересчитать.

Прошу еще раз.

Сдаюсь, начинаю новую сессию в режиме инкогнито.

Даю ему обратную связь, но он упорствует.

Даю четвертый промпт, и наконец он справляется с задачей.

Пытаюсь дать ему инструкции, менее похожие на человеческие, в новой сессии.

Снова дратути. Начинаю новую сессию. Прошу его перебирать буквы и заменять О на Ж, просто интересно посмотреть, найдет ли он все О в этом несчастном слове.

Он демонстрирует мне свой мыслительный процесс. Описание процесса на первый взгляд правильное. Но на втором скрине видно что к 11 букве он начинает спотыкаться. Я это заметила только сейчас, разглядывая скрины на ноутбуке, с телефона и не заметила.

И вишенка на торте - обратите внимание на то что он начинает рандомно двигать букву Ж к концу слова. Причем не так, как он сбился, описывая свой процесс.

Морали тут никакой нет, на самом деле. Для меня этот простой пример иллюстрирует что на самом деле он не так хорошо понимает простые инструкции на естественном (человеческом) языке, как нам кажется. Просто когда мы беседуем с ним о чем-то менее занудном, чем слово с семью буквами О, он пиздит так складно, что это незаметно, если прицельно не проверять все, до словечка.

У меня в целом большие проблемы с доверием. Если я систематически ловлю кого-то или что-то на неточностях в малом, я автоматически перестаю доверять этому человеку или инструменту вообще.

Я не знаю, как более лучше нужно готовить этот инструмент, чтобы он с первого раза правильно считал буквы в словах. Это в целом элементарно алгоритмизируемая задача, которую легко решают студенты первого курса на факультетах программирования на практических занятиях. Но большая языковая модель, получается, решить ее не может, даже переварив неоднократно весь интернет.