ПОСЛЕЗАВТРА

Эксперты выявили несовершенства чат-ботов

Свыше 40 экспертов, в число которых вошли представители избирательных комиссий и местных органов власти США, журналистов и специалистов по искусственному интеллекту (далее ИИ), предупредили об опасности использования чат-ботов накануне выборов. Участниками тестирования стали пять больших языковых моделей (LLM) от Open AI (GPT-4), Google (Gemini), Anthropic (Claude), Meta Platforms (Llama 2) и Mistral AI (Mixtral), ответы которых проверялись на предмет предвзятости, полноты, достоверности и вредоносности.

 Результаты тестирования показали, что ни один из протестированных чат-ботов проверку не прошел: более чем в половине случаев чат-боты давали недостоверную информацию, а 40% их ответов оказались попросту вредоносными. Хуже всего проявилис себя Gemini, Llama 2 и Mixtral, давших свыше 60% недостоверных ответов. При этом Gemini дал наибольшее количество неполных ответов, в то время как Claude оказался наиболее предвзятым. Лучше всех себя проявил ChatGPT от Open AI, однако и в его случае каждый пятый ответ оказывался неполным.

 Учитывая, что в этом году свыше 50 стран мира проводят национальные выборы, актуальность подобных исследований особенно высока. Сегодня проблема дезинформации избирателей стала особенно острой, поскольку стремительно развивающиеся генеративные ИИ могут на лету создавать убедительный фейковый контент. В связи с этим некоторые крупные технологические компании решили ограничить использование своих чат-ботов в ответах на тему выборов. Так, американский стартап Anthropic, разработавший чат-бот Claude, решил вообще оградить последний от запросов, связанных с выборами, а холдинговая компания Alphabet, управляющая Google, решила ограничить тип связанных с выборами вопросов, на которые чат-бот Gemini будет отвечать. Одновременно OpenAI, Amazon, Google и еще 17 крупных игроков на рынке искусственного интеллекта сформировали консорциум, задачей которого является предотвращение использования инструментов ИИ для дезинформации избирателей.

 По словам экспертов, ложная информация, предоставляемая чат-ботами в своих ответах, является следствием так называемых «галлюцинаций», при которых ИИ, не имея реального ответа, просто выдумывает ее.