ПОСЛЕЗАВТРА

Чат-ботов научат думать по-человечески

В последние годы особое развитие получили такие модели машинного обучения, как трансформеры, предназначенные для выявления и отслеживания закономерностей в последовательных данных. Несмотря на то, что трансформеры, на основе которых и появились такие популярные чат-боты, как ChatGPT, в целом показали хорошие результаты в целом ряде задач, их производительность зачастую резко падает при обработке длинных запросов. Причина этого заключается в ограниченной запоминающей способности таких моделей на входящие данные.

 Исследователи из Университета Сонгюнгвана (Южная Корея) попытались решить данную проблему, разработав новую систему памяти, работающую по аналогии с памятью человека. В своей работе, результаты которой были опубликованы на портале arXiv, разработчики решили следовать принципам нейронаучной теории Хебба. В рамках данной теории предполагается, что неоднократная совместная работа нейронов приводит к формированию между ними связей, которые в итоге и способствуют усвоению и запоминанию информации. По словам разработчиков, созданная ими модель Memoria хранит и извлекает информацию (энграмму) на разных уровнях памяти, используя веса связей, меняющиеся в соответствии с теорией Хебба.

 Первые тесты новой системы дали весьма обнадеживающие результаты: Memoria продемонстрировала существенный прирост производительности трансформеров в обработке длинных последовательностей данных, в том числе и в задачах по сортировке и классификации длинных текстов. Создатели планируют продолжить тестирование новой системы и уже выложили открытый код системы на GitHub.