GPT-3 and Human Errors

Недавно думала, что было бы интересно когнитивные исследования для людей предложить пройти GPT-3 (нейросетевая речевая модель, которая на основе deep learning может на текстовые промпты выдавать практически неотличимые от человеческих тексты). И очень удачно встретила сегодня в твиттере именно такое обсуждение✨

На картинке вверху поста можно увидеть ответ GPT на задачу Линды. Это классический пример из психологии мышления, показывающий как ненадежно мы обычно ориентируемся в вероятностях. Перечитайте задачу на картинке. Какой ответ Вы бы дали?

Я люблю предлагать ее своим студентам, будущим ученым-психологам. И среди них, замечательных, умных, любопытных, проводящих экспериментальные исследования сознания, многие отвечают: «Думаю, второе. У Линды активная жизненная позиция, поэтому конечно, вероятнее, что она и сотрудник в банке, и феминистка». Так отвечает большинство людей. При этом, такой ответ противоречит теории вероятности. Представим это в буквах – что вероятнее: 1) будет соблюдено условие А? 2) будут одновременно соблюдены и условие А, и условие Б? По теории вероятности, конечно, только одно условие встретится намного чаще, чем два сразу. Это пример Conjunction fallacy – ошибки конъюнкции – когнитивного искажения, при котором выполнение нескольких условий кажется нам более вероятным, чем выполнение всего одного.

Неожиданно, но второй ответ даёт и GPT-3 - система, имеющая вычислительные мощности повыше человеческих:) Причём не только в этой задаче, сходные свойственные людям искажения она повторяет и в других распространённых в исследованиях мышления примерах:

Понравился один из комментариев в этом треде с идеей о том, что может быть GPT и знает как правильно, но отвечает так, чтобы получилось максимально «по-человечески».

Ну и вот это, конечно, стоит отметить😁:

При этом, что интересно, если проверять не сами модели, а общий GPT-чат, результаты выходят разные (да, мне тоже захотелось проверить):

В чате получилось что-то более ожидаемое от нейросети:) Но, возможно, она подучилась после общения с исследователями. В любом случае, ещё один забавный пример того, как AI наследует (или имитирует?) наши когнитивные искажения✨

И немного interesting words and phrases:

outspoken - открыто выражает свою позицию

bright (про человека) - умный

she majored in… - ее специальность (в вузе)…

bank teller - кассир в банке

reasoning - мышление, процесс рассуждений (mathematical reasoning, abstract reasoning, logical reasoning)

consistent (with) - последовательный, логически согласующийся

eloquent - красноречивый

advocate for - выступать в защиту

Ссылки:

Сам тред: https://twitter.com/dggoldst/status/1598317411698089984?s=21

Научная статья о проверке других известных эффектов человеческого мышления на GPT https://cpilab.org/pubs/Binz2022GPT3.pdf

Поиграть с GPT-3:

https://beta.openai.com/playground

Пообщаться с GPT в чате:

https://chat.openai.com/auth/login