ПОСЛЕЗАВТРА

Китайский чат-бот научился писать целые романы

Китайские разработчики из Университета Цинхуа и Zhipu AI создали новую большую языковую модель (LLM), способную генерировать в одном ответе до 10 тысяч слов. Это в пять раз больше популярных сегодня чат-ботов, чей предел составляет около 2 тысяч слов в ответе. Разработчики новой LLM, получившей название LongWriter, выложили открытый код своего детища на GitHub, а также признали необходимость решения ряда этических вопросов ввиду способностей LLM генерировать целые научные статьи, книги и сценарии кинофильмов.

 Разработка LongWriter началась со стандартного обучения языковой модели с 9 млрд. параметров на традиционном массиве данных, длина большей части текстов в котором была меньше 2 тыс. слов. Затем разработчики модифицировали модель, используя конвейер AgentWrite, с помощью которого обучающий систему материал разбивался на подзадачи в процессе обработки. Новое обучение производилось уже на массиве данных, содержащем тексты длиной от 2 до 32 тыс. слов. Как результат LongWriter смогла генерировать тексты длиной до 10 тыс. слов, причем ответы были логичными и пригодными для использования в различных контекстах.