Как устроены нейросети? Смотрим на примере ChatGPT и Т9

Магия или научный прорыв? Что скрывается за работой нейросетей, и как они устроены? На эти и другие вопросы наша команда ответит в этой статье.

1. Что такое языковая модель?

Языковая модель - это математическая модель, которая используется для прогнозирования последовательности слов в языке. Она описывает вероятность того, что данная последовательность слов является корректной и смысловой.

При создании нейронных сетей языковые модели используются для обучения системы распознавания речи, машинного перевода, генерации текста и других задач обработки естественного языка. Например, нейронная сеть может использовать языковую модель для определения наиболее вероятного следующего слова в предложении, основываясь на предыдущих словах.

На этой модели построены такие известные нейросети, как ChatGPT, покорившая Интернет своей быстрой работой, и Т9, покоривший Интернет своим удобством набора текста и... «мемностью».

2. Что такое ChatGPT?

ChatGPT (от англ. Generative Pre-trained Transformer «генеративный предварительно обученный трансформер») - чат-бот с искусственным интеллектом, который разработала компания OpenAI.

Он был запущен 30 ноября 2022 года, и сразу же привлёк внимание общественности своими широкими возможностями: написание кода, создание текстов, возможности перевода, получения точных ответов и использование контекста диалога для ответов. А самое приятное, что в отличие от большинства чат-ботов, ChatGPT отслеживает состояние диалога пользователя, запоминая предыдущие вопросы и ответы, данные ему в том же разговоре.

Чат-бот также хорош тем, что имеет в себе цензуру, отклоняющую потенциально расистские или сексистские высказывания, и иные оскорбительные, угнетающие ответы и тексты.

Несмотря на введенные в нашу страны санкции, чат-бот поддерживает русский язык и способен воспринимать вопросы на нём, отвечая соответствующе, по русски.

3. Как его обучали и какую ему дали базу?

ChatGPT базируется на участии в обучении нейронной сети множества настоящих людей-учителей, демонстрирующих ему на начальном этапе, как правильно вести диалог. GPT-3 был обучен примерно на 500 миллиардах «токенов» (Токен — это несколько символов. Часто это просто слово, но иногда — знак препинания или часть слова.) , которые позволяют его языковым моделям легче присваивать значение и предсказывать правдоподобный последующий текст. 

Несколько десятков специалистов вручную формировали набор вопросов и ответов на них, который потом «скормили» чат-боту для настройки модели. Затем они продолжили работу, оценивая генерируемые нейросетью диалоги и ранжируя их по качеству ответов.

Таким образом, «скармливая» GPT тексты и наборы «вопросов-ответов», создается модель, по которой будет действовать бот и строить диалог с пользователем.

Сюда же и вошла широкая база книг, статей и других документов по самым разным темам, стилям и жанрам — и огромное количество контента из Интернета. 

Помимо настраиваемой модели, чат-бота наполняют информацией об возможной оценке человека. Как уже упоминалось ранее - цензура не позволяет кого-то оскорбить или унизить, подвергнуть угнетению и просто обидеть неправильно подобранными словами. GPT не нарушает этику, а если попытаться заставить его это сделать, он вам так и напишет:

4. А как работает Т9?

T9 - это аббревиатура от "Text on 9 keys" (текст на 9 кнопках), и это технология ввода текста на мобильных устройствах, которая позволяет быстро и легко вводить слова, а также исправлять опечатки.

Каждая кнопка на клавиатуре соответствует нескольким буквам, и когда вы нажимаете на кнопки, система T9 использует словарь слов, чтобы предсказать, какое слово вы хотите написать. Система T9 также учитывает контекст и предлагает наиболее вероятное слово на основе того, что вы уже ввели.

Технология T9 также может обучаться и запоминать ваши часто используемые слова и фразы, чтобы предлагать их в первую очередь при вводе текста.