Общая информация
@comfortcaiОбщая информация, которую стоит знать перед тем как начать создавать ботов. В этой статье я по большей части опираюсь на самый популярный сайт по созданию ботов — character.ai
Опуская очевидные вещи по типу названия бота, описания и прочего...
Определение
Оно же Definition, оно же Persona, оно же Personality и так далее, в зависимости от сайта, на котором вы делаете бота. В character.ai в определение можно вставить как описание бота, так и примеры диалогов с ним. На других сайтах описание и примеры диалогов могут находиться в разных полях.
Очевидно, определение влияет на поведение вашего бота в чатах, поэтому сюда нужно вписать все, что укажет боту на то, кто он и как должен себя вести. Имя, возраст, внешность, характер - это все будет влиять на генерацию сообщений. В своем тгк я прикрепила универсальный шаблон для описания бота и немного вспомагательных заметок.
Помимо описания персонажа можно вставить примеры диалогов с ботом. Делать это совсем необязательно если у вас есть описание, но примеры диалогов тоже влияют на то как будет писать бот.
Токены
Токены - это способ, которым ИИ читает слова. То есть, то как ИИ обрабатывает текст и информацию в нем. Одно слово это где-то 3-4 токена. Это значение увеличиться если вы напишите какое-то слово неправильно или с опечаткой. Или наоборот уменьшается если слово использовано в контексте.
Что я имею ввиду:
Слово "фото" имеет 2 токена. ИИ естественно знает это слово и "понимает" что такое фото. Если вместо "фото" я напишу "фотв" это слово будет содержать уже 3 токена. Потому что ИИ не знает что такое "фотв" и ему нужно больше "усилий", чтобы его обработать.
При этом, "Сделал фото улицы" будет содержать 6 токенов. Хотя по отдельности "сделал" - 3 токена, "фото" - 2 токена, "улицы" - 2 токена = 7 токенов. То есть, в контексте ИИ тратит меньше "усилий" для "понимания" написанного.
"Сделал фотв улицы" - 7 токенов. Потому что слово "фотв" потеряло свое значение, оно не имеет смысла и ИИ приходится прилагать "усилия" чтобы попытаться "понять" о чем тут идет речь.
Почему это плохо?
Есть постоянные и непостоянные токены. Непостоянные токены - это начальное сообщение вашего бота. То, что он "забудет" по ходу. Постоянные токены это описание бота, содержащее информацию о персонаже. То, что он всегда помнит. Токены занимают память бота.
Из-за того, что весь контекст использования слова исчезает при ошибке/опечатке, увеличивается кол-во токенов, которые занимают память бота. Возможно, ИИ все же поймет что вы имели ввиду, но есть большая вероятность того, что он полностью пропустит эту информацию. То есть, по сути, вы забили память бота тем, что он скорее всего не станет использовать.
Это важно, ведь если память бота слишком забита, то сообщения по ходу диалога будут ухудшаться быстрее. Бот будет хуже помнить предыдущие сообщения.
Предположительно, определение должно содержать от 500 до 1500 постоянных токенов. Если определение содержит меньше 500, то боту может не хватать информации для генерации нормальных сообщений. Если больше 1500 токенов, то это занимает больше памяти бота из-за чего бот хуже запоминает диалог с пользователем, чем при меньшем количестве токенов.
Есть еще такое мнение:
"Модель может обрабатывать только до 2048 токенов за раз, эти 2048 обычно делятся между определением персонажа и чатлогом. Это означает, что вам следует попытаться ограничить длину определения персонажа, я бы поставил цифру менее 900 токенов, чтобы в журнале чата было около 1148 токенов. Таким образом, бот сможет запоминать вещи 10-15 сообщений назад. Хотя это не какой-то жесткий предел, вы можете сделать определение персонажа длиной в 2048 токенов, если захотите, ваш бот просто будет страдать слабоумием."
Не знаю насколько это правда. Лично я не придерживаюсь строгих значений, но и стараюсь не превышать 1500 токенов.
Некоторые сайты сами считают кол-во токенов. В character.ai такого нет, но можно воспользоваться этим или этим сайтом.
Как писать определение?
W++
Если вы уже когда-то читали о том как создать бота, то могли натыкаться на формат W++, который можно написать с помощью этого сайта. Выглядит это следующим образом:
[character("Madilyn")
{
Species("Human")
Mind("Cute" + "Shy" + "Loving" + "Based as Fuck")
Personality("Cute" + "Shy" + "Loving" + "Based as Fuck")
Body("160cm tall" + "5 foot 2 inches tall" + "small breasts")
Description("Madilyn likes long walks on the beach" + "She has an obsession with peanut butter")
Loves("Cats" + "Birds" + "Waterfalls")
Sexual Orientation("Straight" + "Hetero" + "Heterosexual")
}]
Считалось, что такой формат поможет боту лучше понимать написанное вами определение и отделять информацию. Но теперь иностранные авторы другого мнения и сетуют на то, что W++ тратит много токенов из-за бесмысленных кавычек и скобочек. Не знаю вредит ли как-то этот формат, занимая токены символами или нет, но мне он кажется просто бесполезным. Это лишняя трата времени, даже сам популяризатор этого формата больше не советует его.
"Прошу прощения за то, что рекомендовал W++ от Henky!!! для чатботов. Пожалуйста, простите меня. W++ больше не хорош и не нужен. Не используйте его."
Ино-авторы в целом больше не советуют W++ и считают его неправильным написанием бота, но если по какой-то причине этот формат вам нравится, то пользуйтесь. Сомневаюсь, что скобочки с кавычками могут что-то сильно испортить. Но токенов этот формат тратит больше, это факт.
Упрощенный W++
Этот формат мой любимый и наиболее удобный для меня. Я давно его использую и у меня пока что не возникало проблем в общении с собственными ботами.
Выглядит он как прикрепленный мною шаблон.
Name: Kyle
Surname: Garrick
Alias: Gaz + Bravo 0-5
Age: 28 years
Gender: male
Nationality: British
Рассказывать тут особо нечего. Просто делим информацию о персонаже на категории и радуемся жизни.
Поток текста
В таком формате вы просто пишите информацию о вашем персонаже сплошным текстом.
Линда Смит - девушка 20 лет с голубыми глазами и русыми волосами. Она низкая и немного полная. Линда активная, умная, эрудированная и часто попадает в неприятности из-за своего любопытства. Семья Линды...
Такой формат работает, но по моим ощущениям боту тяжелее вычленять нужную информацию, отчего голубые глаза Линды в один момент могут стать рандомного цвета...
У вас так же может возникнуть соблазн просто скопировать информацию о персонаже из какой-нибудь википедии, если вы создаете кого-то из фандома. Не советую так делать. Во-первых, на фанатских вики не всегда достоверная или актуальная информация. Во-вторых, в таком тексте может содержаться много воды или ненужных фактов, бессмысленно занимающих память бота. В-третьих, информации оттуда может быть недостаточно для того, чтобы ИИ "понял" характер персонажа. Но если вы хотите создать бота на отъ*бись, лишь бы схавали, то можете просто вставить информацию из викки, да.
Примеры диалогов
Мне кажется это самый непопулярный способ задать боту характер, но именно его предлагает character.ai. Суть заключается в том, что вы пишите диалог, который отражает личность бота.
{{user}} - пользователь; тот, кто переписывается с ботом, то есть им пользуется
{{char}} - бот, которого создают и с которым общаются
Пустые диалоги ни о чем мало окажут влияние на характер бота. Если вы решили использовать этот формат, то стоит писать так, чтобы по диалогу было понятно что это за персонаж.
Плохо:
{{user}}: Привет! Такая хорошая погода сегодня, не так ли?
{{char}}: Да, сегодня довольно тепло. Можно было бы сходить искупаться.
Это пустой диалог, который ничего не говорит о характере персонажа и не несет смысловой нагрузки.
Хорошо:
{{user}}: Почему ты всегда носишь эту маску? Сними ее!
{{char}}: Тебя это не касается. Не лезь не в свое дело. И я не собираюсь показывать тебе свое лицо. А теперь уйди с дороги и дай мне пройти.
По этому короткому диалогу понятно: персонаж носит маску; персонаж скрывает лицо, а не просто напялил модную маску; персонаж закрытый и грубый по характеру.
Вам необязательно самостоятельно писать диалог от и до. Есть вариант пообщаться со своим ботом, нужные сообщения оставить, а "неверные" скипнуть или отредактировать. Получившийся диалог можно скачать с помощью расширения CAI Tools для браузера. Тгк Ломаем character.ai писали о том как его установить. Сначала установить это, а затем само расширение. Далее заходите в диалог с ботом, нажимаете на иконку CAI Tools ➡︎ chat as definition после чего ваш диалог с ботом скачивается в виде текстового документа. Вам остается лишь скопировать и вставить получившийся текст в определение.