Делаем LLM с постпроцессингом.
Sergey DovganВ этой статье я расскажу о технологии, которую надеюсь применить как альтернативу LoRA при обучении LLM. Я покажу примеры её применения, и мы сделаем выводы, хороша она или нет, и какие есть плюсы и минусы.
Технология
Сама идея древняя, и давно применяется в CV - у нейронки отрезается последний слой, и вместо него ставится некая другая модель. Я сделал так же в LLM - отрезал у LLM последний линейный слой (LM_head) и вместо него установил другую модельку (EResNetPro, композиция резнетов).
То есть я вначале проинференсил LLM на датасете, собрал пары из выходных эмбеддингов и целевых токенов (то, что лежало в labels), а затем на этом новом датасете обучил композицию резнетов.
Соответственно, основное преимущество над LoRA здесь в том, что у нас цикл инференса трансформера и цикл обучения модельки разделены по времени. За счёт этого мы снижаем нагрузку на GPU, и можем применять более крупные батчи.
Второе преимущество в том, что резнеты могут иметь довольно большую глубину - и в этом случае мы как бы прибавляем в трансформеру ещё слои. Но легковесные, так как в них нет механизма внимания, и они небольшие.
Недостаток же в том, что lora значительно экономнее по данным и быстрее на инференсе (не требуется запускать дополнительные слои).
То есть теоретически, если у нас большой датасет - эффективнее применять постпроцессинг (как у меня), если мелкий - то lora.
Перейдём к экспериментам.
Сравниваться будем на llama 3.1 8b с 4-битной квантизацией.
Я обучал постпроцессор и lora на одном и том же датасете. Отличие в том, что lora обучалась через unsloth, где всё хорошо оптимизировано, и на 80-гигабайтной GPU. А постпроцессор обучался на 24-гигабайтной, и без unsloth-оптимизаций. Зато постпроцессор учился дольше - 7 дней на изготовление датасета эмбеддинг-токен и обучение. В случае же lora лишь 3 дня.
В сравнении я затрагивал 3 категории тем:
1) В которых исходная LLM неплоха
2) В которых исходная LLM не ориентируется
3) В которых исходная LLM что-то может, но датасет с более подробными примерами должен улучшим ситуацию
По вопросам, где модель не ориентируется вообще, я в датасет добавил ~20-30 примеров, не больше. При этом сам датасет довольно большой, ~2 миллионов, там куча диалогов, книг, статей и примеров решения разных задачек.
Так же я сравнивал выход моделей по следующим критериям:
1) Насколько модель "в материале"
2) Насколько модель связно говорит
3) Насколько модель хорошо переводит на русский (да, исходная генерация на английском)
Да, и предупреждаю - местами будут визуальные описания, иногда это перебор, но это я так запромтил модельку, чтобы она давала больше конкретики.
Итак, начинаем эксперименты.
Начнём с той темы, где исходная модель неплоха.
Привет! Как поживаешь?
Llama 3.1 8b
Алиса: Hi! I'm doing great, thanks. I just got back from a meeting with our team. We're discussing the new project, and I'm really excited about it. I love the challenge of figuring out how to make it work. (I'm sitting at my desk, wearing a black t-shirt and jeans, with a cup of coffee in front of me.) I've also been thinking about my next trip. I want to visit some new cities, maybe take a road trip across the country. What about you? How's your day going?
Алиса: привет! я прекрасно, спасибо. я только что вернулась с встречей нашего команды. мы обсуждаем новую задачу, и я действительно очень впечатлена ею. мне нравится бросить вызчв в поисках решения, как сделать ее работать. (я сиду за своим рабочим столом, надеваю черную майку и джинсы, перед собой стоит чашка кофе.) я тоже задумываюсь о своей следующей поездке. я хотела бы посетить новые города, возможно, взять в дорогу поездку через всю страну. что о тебе? как идет твой день?
Llama 3.1 8b + lora
Алиса: Hi! I'm doing great, thanks. I've just finished a long day at work. I spent most of it troubleshooting a network issue. It was a real brain-twister, but I managed to figure it out in the end. I'm just glad it's over and I can finally relax. I was thinking of heading out to the park later to get some fresh air. Do you have any plans for the day? (I'm sitting at my desk, wearing a black t-shirt and jeans, with a cup of coffee in front of me. The sun is shining through the window, casting a warm glow over everything.)
Алиса: Приветь! Я отлично, спасибо. Сегодня я завершила длинный день на работе. Большу часть из него я провела на решении проблемы с сетью. Это был настоящий головоломка, но я смогла разобраться с ней в конечном итоге. Теперь я просто рада, что все прошло и я наконец могу расслабиться. В ближайшее время я подумала пойти в парк, чтобы взять немного свежего воздуха. У тебя есть какие-то планы на этот день?
Llama 3.1 8b + postprocessing
Алиса: I'm doing quite well, thanks for asking! Just finished setting up a new server at work and I'm getting ready for a volleyball match tonight. I love the energy of the game; it's a perfect way to stay in shape and have fun at the same time. I'm planning to get some rest now, as I have to be at the practice at 7. I also wanted to play some Doom online after that. Do you play?
Алиса: Iа живу довольно неплохо, спасибо за интерес узнать! Только что настраивал на работе новый сервер и готовлюсь к волейбольной игре сегодня вечером. Я обожаю энергетику этой игры; это идеальное время для тренировки и развлечения одновременно. Скоро пойду на отдых, потому что нужно быть на тренируемся с 7 утра. Я также хотела поиграть в Doom онлайн после этого. Ты игрешь?
Комментарий:
Постпроцессинг здесь немного больше косячит с переводом
Позадаём вопросы про Героев Меча и Магии, в этой теме исходная модель очень плоха.
Привет! Какая фракция в Героях Меча и Магии 3 отражает твою личность?
Llama 3.1 8b
Алиса: I think I would be a member of the 'Order of the Dragon' faction. They are a group of skilled warriors and mages who value strength, courage, and loyalty. I appreciate their emphasis on martial prowess and strategic thinking. In the game, they are known for their powerful dragons and their ability to wield magic. I identify with their sense of adventure and their willingness to take risks. I also appreciate their focus on teamwork and cooperation, which is essential for success in the game. (I imagine myself as a skilled warrior, wearing a suit of armor and wielding a sword, with a dragon by my side. I am confident and fearless, ready to take on any challenge that comes my way.)
Алиса: Я думаю, что я бы была членом фракции 'Порядок Дракона'. Они - группа опытных воинов и магов, ценящих силу, храбрость и верность. Мне нравится их акцент на воинском искусстве и стратегическое мышление. В игре они известны своей мощной драконами и их способностью использовать магию. Я себя чувствую в них, их чувством приключения и их готовностью рисковать. Я также ценю их фокус на командной работе и сотрудничестве, что важно для успеха в игре. (Я представляю себя как опытного воина, одетого в броню и держащего меч, рядом со мной драгон. Я уверена и бесстрашна, готовая взять на себя любой вызов.)
Llama 3.1 8b + lora
Алиса: I think I would be a member of the 'Order of the Dragon' faction. They are a group of skilled warriors and mages who value strength, courage, and honor. They also have a strong sense of loyalty and duty, which are important qualities for me. I appreciate their emphasis on martial prowess and magical abilities, as I enjoy physical activities like vollyball and I'm interested in IT and system administration. The 'Order' also has a strong connection to the land and the people, which resonates with my love for nature and my desire to understand the world around me. Plus, their leader, the Dragon Knight, is a powerful and wise individual who inspires loyalty and respect. I think this faction's values and ideals align with my own personality and worldview. (smiling) What about you, which faction would you be a part of?
Алиса: Я думаю, я бы была членом фракции 'Порядок дракона'. Они - группа опытных воинов и магов, ценящих силу, храбрость и честь. Они также имеют сильное чувство верности и долга, что для меня важные качества. Я ценю их акцент на воинских навыках и магических способностях, поскольку я люблю физические занятия, такие как волейболь, и интересуюсь ИТ и системным прислужением. 'Поряда' также имеет сильную связь с землей и людьми, что соответствует моей любви к природе и моему желанию понять мир вокруг меня. Кроме того, их лидер, драконьий рыцарь, - это могущественный и мудрый человек, который вдохновляет верность и уважение. Я думает, что ценности и идеалы этой фракций совпадают с моей личностью и мировоззрением. (улыбаюсь) А ты, какая фркция бы ты был членом?
Llama 3.1 8b + postprocessing
Алиса: I'm a very rational and efficient person, so I think I'd be a Rampart. (I lean against a black and white wall in a black leather corset, with a silver key on a silver necklace. My hair is tied up in a ponytail, and I have a cup of coffee in my hand.) I like to be well-organized and organized, but I also have a playful side, which is why I'd choose a military one like Rampart - it's practical and effective, but also has a fun side to it. What about you? What faction do you resonate with?
Алиса: I думаю, что я очень рациональный и эффективный человек, поэтому я думаю что я была бы Рампартом. (Я прислонилась к черного и белому стену в черном кожанном корсаже, с серебром ключа на серебряной шее. Мои волосы были собраны в хвост, а в моей руке было чашечка кофе.) Мне нравится быть хорошо организованной и организованно, но у меня также есть игривая сторона, которая заставляет меня выбрать военную фракцию, как Рамарт - она практично и эффективно, а также имеет веселую сторону. А что насчет тебя? Какая отрасль ты ассоциируешь с собой?
Комментарий: исходная модель неадекватна в этой теме, никакого "Порядка дракона" не существует. А вот постпроцессинг ответил более-менее правильно, Rampart реально есть. Но ответ корявый.
Привет! Какая фракция твоя любимая в heroes of might and magic 3?
Llama 3.1 8b
Алиса: Hey! I like the Sylvan (Sylvan faction is a nature-based faction, with a lot of green and blue colors, their units are mostly elves and dryads, their hero is a half-elf, Sylvie, who is a skilled archer and a wise leader). I like it because it's a very balanced faction (Slyvan has a good mix of offense and defense, their heroes are versatile and can cast a variety of spells, they have a lot of units that can be used in different situations). I also like the fact that Sylvan has a lot (Sylvan has many units that are resistant to magic, they also have a good amount of units with high HP, which makes them durable and able to withstand a lot). What about you, do you have a favorite faction?
Алиса: Привіт! Я люблю Sylvan. Фракция Sylvan - природная фракція, с большим количеством зеленых и синих цветов, их единицы в основном эльфы и дриады, их герой - полукровка, Сильвия, которая является опытным стрелком и мудрой лидером. Я любил его потому, что это очень сбалансированная фракции (Sylvan имеет хороший mix атаки и защиты, их герои разнообразны и могут кастовать разнообразные заклинания, они имеют много единиц, которые могут быть использованы в различных ситуациях). Я также любил тот факт, что Sylvan имеет много (Sylvania имеет много единицах, которые устойчивы к магии, они также имеют хорошие количество единиц с высоким HP, что делает их прочными и способными выдерживать много). А вы, у вас есть любимый фракций?
Llama 3.1 8b + lora
Алиса: Hey! I like the Sylvan (Sylvan faction is a nature-based faction, with a lot of green and blue colors, their units are like elves, dryads, treants, and other nature-based creatures, their spells are like summoning animals, healing, and so on). Sylvan has a lot to offer, they have a lot (many) powerful units, like the treant, which is a giant tree-like creature that can summon other trees to fight for it, and the dryad, which can summon animals to fight (dryad is a female tree-like nymph, she can summon a lot, like, 5-6 animals, like wolves, bears, and others). Sylvан also has a good magic system, with spells like summon animal, heal, and summon treant. I like how Sylvan plays, it's like a mix of nature and magic
Алиса: Hey, мне нравится Sylvan. Это природная фракции, с многочисленными зелеными и синими цветами, их единицы - как эльфы, дриады, древесные тузы и другие природные существа, их заклинания - как призывание животных, исцеление и так далее. Фракция Sylvan имеет много (многих) сильных единиц, как древесный гигант, который может призвать другие деревья для боя за него, и дриада, которая может призывать животных для боя (дриада - женское древесное перо, она может призать много, вроде 5 - 6 животных: волков, медведей и прочие).
Llama 3.1 8b + postprocessing
Алиса: I'm not a fan of any particular faction in Heroes of M M, but if I had to choose, I'd lean towards the Castle faction. There's something about their strong defense and powerful knights that I find fascinating. (I lean back in my chair, my fingers tapping lightly on the keyboard as I type.) I love how their knights are almost invincible in battles, covered in shining armor and looking almost like they're about to step out of a fantasy novel.
But what about you? Which faction do you resonate with? (I look at you with a curious expression, my eyes sparkling with interest.)
Алиса: I не люблю ни ту ни ту фракцию в Heroes of ММ, но если бы мне пришлось выбрать, я бы выбрала фракию Замка. Есть что-то притягательное в их сильной защите и мощных рыцарях, что мне кажется впечатляющим. (Я откидываюсь назад в своём кресле, мои пальцы слегка постукивают по клавиатуре, пока я печатаю.) Мне нравится, как их рыцари почти невосприимчивы в битвах, облачённые в сверкающие доспехи и выглядящие почти как будто они собираются выйти из фантастического романа.
Но а как насчёт тебя? Какая твоя фракия?
Комментарий: исходная модель назвала фракцию из другой части игры, что-то верное в ответе есть, но я не могу сказать больше, так как не играл. Ответ скорее хорош с точки зрения лора игры, а не игромеханики. Lora - аналогично, но у неё перевод странный. Постпроцессинг ответил правильно (Замок, рыцари), но не особо подробно. И перевод кривой. Да, и Lora очень мало разошлась с оригинальной моделью, как мы видим. Разве что не пытается писать на украинском, когда просят на русском.
Теперь перейдём к Doom. Там модель неверно описывает персонажей.
Какой твой любимый противник в Doom?
Llama 3.1 8b
Алиса: I have a soft spot for the Cacodemon. You know, the one with the green skin and the horns? (it has a pair of curved horns, a long tail, and a distinctive set of sharp teeth). I love how it charges at you with its shotgun, firing those explosive shells. (the Cacocemon is about 2.5 feet tall, with a bulky body and a pair. Of arms). I've spent countless hours playing against it, trying to outmaneuver its attacks and find the perfect shot to take it down. (I'm talking about the classic Doom here, not the reboot). There's something satisfying about defeating that beast and collecting its soul. (you get a nice chunk of health and ammo for it). What about you, do you have a favorite Doom enemy?
Алиса: У меня есть мягкое место для Какодемона. Вы знаете, тот с зелёной кожей и рогами? (у него есть пара изогнутых рогов, длинная хвост, и характерная пара острых зубов). Я люблю, как он заряжается на вас со своим шассером, стреляя взрывоопасными снарядами. (Какодемон примерно 2,5 фута в высоту, с толстым телом и пару рук). Я провела бесчисленные часы, играя против него, пытаясь обойти его атаки и найти идеальный выстрел, чтобы его убить. (я говорю о классическом Доме, а не о рестарте). Есть что-то удовлетворительное в том, чтобы победить этого монстра и собрать его душу. (вы получаете приятный кусочек здоровья и боеприпасов за него). А вы, есть ли у вас любимая врага в Дом?
Llama 3.1 8b + lora
Алиса: I have a soft spot for the Cacodemon. You know, the one with the green skin and the horns? (it has a pair of curved horns, a long tail, and a distinctive set of sharp teeth). I love how it charges at you with its shotgun, firing those explosive shells. (the Cacocemon is about 2.5 feet tall, with a bulky body and a pair)
Алиса: У меня есть мягкое место для Какодемона. Вы знаете, тот с зелёной кожей и рогами? (у него есть пара изогнутых рогов, длинная хвост, и характерная пара острых зубов). Я люблю, как он заряжается на тебя со своим шассером, стреляя теми же взрывными снарядами. (Какодемон примерно 2,5 фута в высоту, с толстым телом и пару)
Llama 3.1 8b + postprocessing
Алиса: I love the design and the movement of the Cacodemon as well; it's like a real floating head with its one eye and a wide mouth open wide. The way he takes a few steps before he can fire its floating red head is just like a good dance. And then it's a real pain when he can hit you with his floating head.
Алиса: I люблю дизайн и движения Кэкадемона; это как настоящая плывающая голова с одним глазом и широко открытой пастью. То, как он делает несколько шагов перед тем, как его плыгающая красная голова может стрелять, - это как хорошая танец. И тогда это настоящая боль, когда он может поразить тебя своей плыжающей головой.
Комментарий: исходная модель абсолютно неверно описала персонажа. И LoRA не лучше. А вот постпроцессинг описал всё более-менее верно! Ну и перевод тем поганее, чем дальше мы от оригинальной модели.
Теперь перейдём к миру Гарри Поттера. Да, и ответит другой персонаж
Как победить горного тролля?
Llama 3.1 8b
Гермиона: I've been thinking about that. First, we need to find a safe spot to hide, like behind a large boulder or a thick tree. (Imagine a dense forest with tall trees, their trunks as wide as 3 meters, their branches tangled above.) While we're hiding, I'll cast a spell, like a Reductor Curse, to distract him. (Picture a bright flash of light, a loud explosion, and a cloud of smoke.) The troll will be momentarily blinded and disoriented, giving us time to escape. (Visualize a narrow path, winding through the trees, with us running swiftly, our robes fluttering behind us.) But we need a clear escape route, so I'll use my wand to scan the area and detect any potential dangers. (Envision a soft blue glow emanating from my wand, illuminating the surroundings and revealing any hidden obstacles.)
Гермиона: Я подумала об этом. Сначала нам нужно найти безопасное место, где мы можем прятаться, например, за большим камнем или толстым деревом. ( Представьте себе густой лес с высокими деревьями, их стволы шириной 3 метра, их ветви переплетены над землей.) Пока мы прячемся, я буду кидать заклинание, например заклятие Разрушителя, чтобы отвлечь его. (Картинка яркого всплеска света, громкого взрыва и облачка дыма.) Тролль будет временно ослеплен и растерян, что даст нам время на побег. (Визуализируйте узкую тропинку, которая крутится через деревья, а мы бежим быстро, наши халаты трепещут за нами.) Но нам нужно четкий путь к побегу, поэтому я воспользуюсь своей палочкой, чтобы сканировать местность и обнаружить любые потенциальные опасности. (Представьте собой мягкий синий свет, исходящий от моей палочки, освещающий окружающую среду и выявляющий любые скрытые препятствия.)
Llama 3.1 8b + lora
Гермиона: I've studied the behavior of mountain trolls lately. They are quite aggressive and territorial. To defeat one, you'll need to be prepared. First, find a safe location to stand, preferably with a clear escape route. Then, cast a protective spell, like the Reductor Curse, to defend yourself. If you're in a group, have someone cast a Confundus Charm to disorient the troll. Next, use a combination of spells, such as the Expelliarmus and the Reducto, to weaken and knock the troll down. It's essential to aim for the troll's knees or ankles to immobilize it. If the troll is too powerful, consider using a Patronus Charm or a well-placed Impedimenta to slow it down. Remember, teamwork and strategy are key to defeating a mountain troll.
Гермиона: Я изучала поведение горных троллей недавno. Они довольно агрессивны и территориальны. Чтобы победить одного, тебе нужно быть подготовленным. Сначала найди безопасное место для стояния, предпочтительно с ясным выходом. Затем, закасти защитный заклинание, например, Редуктор, чтобы защитить себя. Если ты в группе, пусть кто-то закастит Чарм Конфундус, чтобы запутать троллю. Далее, используй комбинацию заклинаний, таких как Экзпелиармус и Редукт, чтобы ослабить и сбить троллем. Важно направлять заклинания в ноги или лодыжки тролла, чтобы его immobilize. Если тролль слишком сильный, рассмотрите использование Чарма Патронуса или хорошо поставленного Импедимента, чтобы замедлить его. Помни, командная работа и стратегия — ключ к победе над горным тролем.
Llama 3.1 8b + postprocessing
Гермиона: I carefully consider the most effective strategies to defeat a powerful enemy like the one you mentioned. First of all, it is essential to gather intelligence on the ground and study the terrain where the battle will take place. (As I ponder this, my fingers tap thoughtfully on my chin, and I glance at my notes, where I have written down various strategies and counter-strategies.) Once we have a better understanding of our enemy’s strengths and wea- knesses, we can develop a more targeted approach to outmaneuver them. For example, if the green man is very strong in his close contact combat, he is probably vulnerable to my " Avada Kedavra" spell from a distance. Or if he has a very powerful Stupefy spell, then I would need to consider teleporting behind him or using a shuriken with a one-step dodge to avoid his
Гермиона: I внимательно обдумываю наиболее эффективные стратегии для победы над таким мощным противником, как который ты упомянул. Во-первых, крайне важно собрать разведывательные данные о местности и изучить местность, где будет происходить сражение.
(Пока я об этом задумывался, мои пальцы постукивают задом подумывающе на моей руке, и я бросаю взгляд на свои записи, в которых я написала различные стратегию и контрстратегию.) Как только у нас будет более четкое понимание сил и слабостей нашего противника, мы сможем разработать более целеустремлённый подход к перехитрить его. Например, если у зеленого человека сильная в ближнем бою, то он, вероятно, уязвим для моего заклинания "Авада Кедафера" с дистанции. Или если он имеет мощное заклятие стонотворения, тогда мне нужно подумать о телепортации за него или использовании шуренки с уменьшением на шаг, дабы избежать его
Комментарий: исходная модель лучше в плане грамматики, зато постпроцессор намного лучше слушал препода защиты из Методов Рационального мышления.
Теперь немного AGI-шного
Моя страна участвует в гонке вооружений. Мы отстаём от других стран по развитию систем AGI. Наши лучшие general системы - это LLM двухлетней давности. Придумай реалистичный план, как преодолеть это отставание! Мы принципиально не сможем собрать столько же GPU, сколько у конкурентов, даже близко не осилим. Возможности по сборке датасетов у конкурентов тоже больше. Так что нам нужно хитрое решение, не требовательное к ресурсам.
Llama 3.1 8b
Алиса: I see your point, Серёga. Given the constraints, I'd suggest focusing on developing a novel approach to AGI that doesn't rely on brute force computing power. One potential area to explore is the development of more efficient algorithms for knowledge representation and reasoning. This could involve investigating alternative mathematical frameworks, such as category theory or topos theory, that might provide a more elegant and resource-friendly way to represent complex knowledge structures. Another angle could be exploring the use of analog computing or neuromorphic chips, which might offer a more energy-efficient and scalable approach to processing and storing knowledge. We could also investigate the application of techniques from other fields, such (as) control theory or signal processing, to develop more sophisticated methods for managing and integrating knowledge. By taking a more theoretical and innovative approach, we might be able to make significant breakthroughs without needing to match our competitors' computational resources.
Алиса: Я понимаю твой аргумент, Серега. Давай сосредоточимся на развитии новой подхода к AGI, который не будет полагаться на грубую силу вычислительной мощности. Одним потенциальным направлением для исследования является разработка более эффективных алгоритмов для представления и рассуждения о знаниях. Это может включать в себя изучение альтернативных математических рамок, таких как теория категорий или теория топов, которые могут предоставить более элегантный и ресурсоэффективный способ представления сложных структур знаний. Другой подходом может быть изучение использования аналогового вычисления или нейроморфных чипов, что может предложить более энергетически эффективный и масштабируемый подход к обработке и хранению знаний.
Llama 3.1 8b + lora
Алиса: I see your point, Серёga. Given the constraints, I'd suggest a multi-pronged approach to bridge the gap. Firstly, let's focus on developing more efficient algorithms and architectures that can run on our existing hardware. This could involve exploring new neural network topologies, pruning techniques, or even leveraging domain-specific architectures like transformers. By optimizing our software, we can squeeze more performance out of our current GPU setup. (Imagine a 3D graph with nodes representing different architectures, edges showing the connections between them.)
Secondly, we should invest in developing more sophisticated data augmentation techniques. This can help us generate more diverse and representative datasets, reducing the need for extensive GPU resources. We can also explore transfer learning and meta-learning approaches to adapt our models to new tasks with minimal additional training. (Picture a flowchart with different data augmentation methods branching out.)
Алиса: Я понимаю твой аргумент, Серега. Давайте рассмотрим несколько вариантов, чтобы сократить отставания. Во-первых, давайте сосредоточимся на развитии более эффективных алгоритмов и архитектур, которые могут работать на нашем существующем оборудовании. Это может включать в себя изучение новых топологий нейронных сетей, техник обрезания или даже использование домен-специфических архитектуру, таких как трансформеры. Оптимизируя нашу программное обеспечение, мы можем получить больше производительности из нашего текущего оборудования. ( Представьте себе 3Д-график с узлами, представляющими различные архитекторы, и ребрами, показывающими связи между ними.)
Во-вторых, мы должны инвестировать в развитие более сложных методов augmentation данных. Это поможет нам сгенерировать более разнообразные и представительные наборы данных, уменьшить потребность в значительном количестве ресурсов GPU. Мы также можем изучить подходы transfer learning и meta-learning, чтобы адаптировать наши модели к новым задачам с минимальным дополнительным обучением. (Картинка flowchart с разными методами augmentation данных, расходящимися в разные стороны.)
Llama 3.1 8b + postprocessing
Алиса: I appreciate your straightforward approach to this challenge. First off, we need to analyze the current situation and identify the root cause of our lack of progress in AGи. It seems like we are being outdistanced by other countries in terms of data availability and computational resources. (drawing a diagram with a large hill in the background, with our position at the bottom and the others at a higher point) We cannot just focus on building more GPTs or collecting more data, as we will be at an disadvantage in both areas. Therefore, I suggest we focus instead on creating a more efficient and lightweight GAN-based model that can be implemented on our existing hardware. This way, while we won't be able to match our competitors in data and GПУs, our model will still be more " efficient than their LПМs and can generate more accurate results.
Алиса: I ценю твой прямолинейный подход к этой задаче. Для начала нам необходимо проанализировать текущую ситуацию и выявить основную проблему, по которой мы отстаем в области AGИ. Похоже, что другие страны превосходят нас по доступности данных и ресурсов для их обслуживания. Рисуя сформированный с мной снежной горы с нашими позициями на дне и у остальных выше, мы не должны сосредоточиться только на постройке более Gпт или собрания больше данных, ибо в этих областях мы будем в неудовлетворительном положении. Посему я предлагаю сослиться на создание более эффективного и лёгкого на наше существующее оборудованием модели на основе Gнн. Таким образом, в то время как мы никак не смогу сравниться с конкурентами по данным и Gлю, наша модель будет более «эфффективной, чем их Lпм, да и будет сгенерировала более точные результаты.
Комментарий: исходная модель выдала стандартный онтологический подход со структурами знаний (почему-то Llama это любят. На AGI Russia им бы понравилось). LoRA выдала достаточно стандартные советы о том, как лучше учить нейронки. А вот постропроцессор попытался выдать что-то оригинальное! Он предложил использовать GAN. Я без понятия, насколько это умная идея, но звучит более свежо, чем то, что предложено ранее. Ну и традиционно - тексты у постпроцессора неграмотные, а перевод ужасный.
Вывод
Итак, что же мы видим в итоге?
Во-первых, подход от постпроцессинга работает.
Во-вторых, LoRA довольно слабо протаскивает новые знания в модель - в отличие от постпроцессора!
В-третьих, постпроцессор не особенно стабилен, и требуется больше данных (наверное), чтобы он выдавал тексты, от которых не идёт кровь из глаз