ПОСЛЕЗАВТРА

У нового ИИ от OpenAI обнаружены галлюцинации

Специалисты Корнеллского университета (США) обнаружили, что система распознавания речи Whisper от OpenAI может страдать галлюцинациями, т.е. спонтанной генерацией несвязанных с предметом обсуждения слов и фраз, а также выдумывание фактов. Ранее в галлюцинациях был замечен и более известный продукт компании ChatGPT. В случае же с Whisper выяснилось, что галлюцинации появляются при анализе речи людей, делающих большие паузы между словами, что характерно у людей с расстройствами речи.

 «При галлюцинациях искусственный интеллект производит что-то из ничего», — сообщила ведущий автор исследования Эллисон Кенеке, добавив, что такие сбои могут иметь далекоидущие последствия в случае использования ИИ при рекрутинге персонала, на судебных слушаниях или в медицине.

 Будучи выпущенной в 2022 году, большая языковая модель Whisper обучалась на 680 тыс. часов аудиоданных, что позволило системе с почти человеческой точностью транскрибировать записи речи. В этом году OpenAI произвела улучшения своей системы, и количество галлюцинаций снизилось, хотя и не исчезло совсем.

 Для тестирования ИИ исследователи использовали свыше 13 тыс. записей речи как здоровых людей, так и имеющих такое нарушение речи, как афазия. Результаты тестов показали, что галлюцинации у ИИ наступают при анализе речи с паузами, которые система часто воспринимает как слова. Особенную тревогу у исследователей вызывали случаи, когда ИИ спонтанно генерировал весьма резкие высказывания или даже призывы к насилию. В качестве примера приводится случай, когда при анализе простого предложения Whisper выдал пять предложений с такими словами, как «нож», «террор» и «убит». Разумеется, ничего такого в оригинальной речи не было.

 По мнению экспертов, для решения данной проблемы нужно не столько увеличивать объем данных, на которых учится система, сколько включить в них записи людей, имеющих дефекты речи.