ПОСЛЕЗАВТРА
GPT-4 почти прошел тест Тьюринга
Исследователи Калифорнийского университета в Сан-Диего (США) решили проверить, способна ли четвертая версия популярного чат-бота ChatGPT пройти тест Тьюринга. Суть данного теста, предложенного английским математиком Аланом Тьюрингом в 1950 году, заключается в проверке способности машины заставить человека поверить, что он разговаривает с себе подобным. Считается, что только по-настоящему умный искусственный интеллект (ИИ) способен на такое.
С момента своего выхода ChatGPT удивлял многих своим умением имитировать речь подростков, своим чувством юмора и даже способностью проходить экзамен в юридическую школу. В результате переписка с чат-ботом зачастую напоминает беседу с живым человеком. Однако несмотря на свой очевидный интеллект, ChatGPT все же не лишен недостатков и иногда пишет откровенную чушь. По мнению многих, чат-бот страдает «галлюцинациями» и не способен оценить собственные ответы.
Для проверки способности чат-бота проходить тест Тьюринга исследователи пригласили 650 человек, которым надо было определить, общаются ли они с человеком или машиной. Несмотря на то, что по мнению организаторов эксперимента ChatGPT не смог пройти тест Тьюринга, все же он показал весьма впечатляющие результаты. Так, чат-боту версии GPT-4 удалось обмануть аж 41% участников, которые действительно поверили, что общаются с человеком. Для сравнения, предыдущая версия чат-бота, GPT-3.5, смогла обмануть людей только в 5-14% случаев. Интересно и то, что людям удалось убедить своего собеседника в собственной человечности только в 63% случаев.
«Уровень успеха в 41% предполагает, что введение в заблуждение со стороны моделей ИИ уже возможно, особенно в условиях, когда собеседник в меньшей степени ожидает вероятность того, что он разговаривает не с человеком», — заявили исследователи. Эксперты также добавили, что действия моделей ИИ, способных уверенно выдавать себя за человека, будут иметь серьезные социально-экономические последствия.
Отмечается, что участники эксперимента зачастую угадывали в своем собеседнику машину в тех случаях, когда сообщения ИИ были безупречны с точки зрения грамматики, либо же наоборот были полны ошибок. Среди других признаков, привлекавших внимание людей, были чрезмерная болтливость или краткость машины, а также слишком общие ответы, что характерно для больших языковых моделей, к коим относится ChatGPT.