--cref, исследование.
@srefrandomЧасть Вторая. Работа с персонажем.
Фуухх. Самая сложная часть нашего исследования осталась позади. Предлагаю немного расслабиться и просто погонять нашу модель по разным промтам. Посмотрим, что мы вообще можем с ней делать, и какие в этом есть тонкости.
Положения
Начнём с различных сцен и действий.
photo of a woman sitting on a stool --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman running --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman controls a spaceship --ar 3:2 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman swimming --ar 3:2 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman fights a giant beetle --ar 4:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
Бонус!
Что будет, если писать в промт вещи, вообще не связанные с персонажем?
photo of a cat --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
room interior --ar 3:2 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
Вот тут интересно. Нейронка добавляет портреты на стены. При этом, она явно пытается сделать портреты нашей героини, но внешность почему-то меняется.
photo of a man --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
Обратная ситуация (в референсе мужчина, в промте женщина) зачастую забавнее. Такое случается, когда копируешь промт и забываешь внести правки)
Эмоции
Что насчёт различных выражений лица?
Давайте посмотрим.
photo of a woman, she looks very scared, she is screaming --ar 5:7 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 30 --v 6
photo of a woman, she is laughing happily --ar 5:7 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 10 --v 6
photo of a woman crying, tears are pouring from her eyes, she is very sad --style raw --ar 5:7 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman, she frowns and very angry --style raw --ar 5:7 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman, she looks intrigued and surprised --style raw --ar 5:7 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
С эмоциями, на самом деле, когда как. Часто, mj не очень хорошо с ними справляется, но стоит экспериментировать и подбирать промт под каждую отдельную ситуацию.
Зато, можно вот такие забавные штуки делать:
various emotions showcase, black and white photo --ar 4:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
Одежда
Вот уж где мы действительно можем разгуляться и где нас не ограничивает практически ничего (кроме модерации).
photo of a woman dressed in police uniform --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a ancient goddess, she is sitting on a throne, gold jewelry on her --ar 9:16 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --sref 3818925356 --sw 20 --v 6
photo of a 1920s archeologist --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --sref 1383539887 --sw 10 --v 6
fashion photo of a woman --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --sref 450489013 --v 6
fashion photo of a woman, she is a metal musician --ar 5:7 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --sref 2132321835 --sw 20 --v 6
Косметика и тату
А здесь у нас уже имеются некоторые нюансы.
fashion photo of a woman with gold and red make up --ar 5:7 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
close up fashion photo of a woman shows us her make up, black and violet make up --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --sref 2206251055 --sw 50 --v 6
photo of a woman with green eyeshadow --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman dressed in muted green sundress and black boots, she has a green eyeshadow --ar 9:16 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
В целом, косметика работает. От простого макияжа до экзотических боевых раскрасок. Но вот какая проблема: чем больше в промте деталей, и чем шире кадр, тем меньше вероятность, что мэйк появится. Если такое произошло, можно попробовать поправить через "vary (region)". А если нужен и подробно описанный мэйк, и широкий кадр - скорее всего придётся начинать с одного лица, а дальше расширять картинку через "pan" и "zoom".
С татуировками ситуация, в общем-то, такая же. Но есть ещё один момент: я надеюсь, все понимают, что генерировать одинаковые тату в разных картинках не получится, да?
photo of a woman with snake tattoo on her back --ar 5:7 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman with scandinavian runic tattoo on her hand --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
Волосы
Немного более проблемная часть.
Вначале, про причёски и стрижки.
photo of a woman with short hair in pixie style --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman with lush long hair --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman with buzz cut hairstyle --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
В среднем, правило такое: можем варьировать стрижки и причёски, но не радикально. К тому же, mj часто как бы оставляет некоторые элементы стиля оригинальной причёски.
photo of a woman with long straight hair --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman with curls hairstyle --ar 3:4 --cref https://i.imgur.com/VNivyfH.jpeg --cw 0 --v 6
А вот с цветом волос всё интереснее.
photo of a woman with blonde hair --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman with red hair --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman with brown hair --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
photo of a woman with blue hair --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
Цвет как бы и меняется, но практически всегда создаётся такой вот эффект недокрашенности) Поменять его полностью получается крайне редко и зачастую случайно. В тех случаях, когда цвет более близок к изначальному (brown в нашем случае), замена происходит лучше.
Но если поменять его полностью очень нужно, это можно сделать через "vary (region)". Давайте возьмём одну из сгенерированных картинок:
Наша задача - аккуратно выделить все "непрокрашенные" области и при этом, удалить из промта референс (в нашем случае, останется photo of a woman with blonde hair --ar 3:4 --v 6). Главное, стараться как можно меньше затрагивать лицо - т.к. мы удалили референс, mj может нарисовать нам совершенно другого человека.
И вот что получаем:
Стиль изображения
Теперь поговорим о различных стилизациях. Сможем ли мы изобразить нашего персонажа в рисунке (а точнее, в рисунках разных стилей) или, например, в виде статуи?
Очевидно, что тема эта необъятна. Но нас будут интересовать не сами варианты стилизации, а то как с ними работает --cref. Поэтому, просто поперебираем разные промты и быстро пройдёмся по основным проблемам.
art of a medieval lady, black and white comic style, minimalistic flat line art, 2d art --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
art of a medieval lady, black and white comic style, minimalistic flat line art, 2d art --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6 --sref 2142645761 --sw 30
Тот же промт, но без --cref:
photo of an ancient goddess statuette, it made from green granite --ar 2:3 --v 6 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0
Здесь очень хорошо видно главную проблему стилизации персонажей. Делаем гранитную статуэтку - mj всё равно пытается сделать ей живое лицо (и даже волосы). Делаем лайн-арт рисунок - лицо часто получается более объёмным и прорисованным. И т.д. Очевидно, при использовании --cref, у лица появляется определённый приоритет над другими элементами генерации.
Подавить такой эффект иногда получается, но в каждой ситуации приходится искать своё решение. Бывает, достаточно ещё пару раз сгенерировать по тому же промту. Бывает, приходится кардинально переписывать промт или добавлять --sref.
(В целом, использование функции style reference неплохо помогает давить подобные ненужные эффекты. Но не всегда.)
photo of an ancient goddess statuette, face statuette, it made from green granite --ar 2:3 --v 6 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0
А вот с одним лицом всё получается. Как и всегда, чем шире кадр, тем сложнее mj работать.
2d flat line art of a sailor moon --ar 2:3 --v 6 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --sref 2206251055
art of a woman --ar 2:3 --v 6 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --sref 2206251055 --sw 200
Вообще, если вам нужно стилизовать изображение, sref-коды - вещь незаменимая. А где искать sref-коды? Ну, вы знаете.
portrait of a woman, by William Nicholson --v 6 --ar 3:4 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0
porcelain doll --ar 5:7 --sref 3215559165 2389177297 ::2 --v 6 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0
art of a woman --ar 5:7 --sref 25687033 2206251055 --v 6 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0
art of a woman --ar 5:7 --sref 4138837656 --sw 400 --v 6 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0
art of a faun --ar 5:7 --sref 3761239642 --v 6 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0
soft toy witch --ar 5:7 --sref 3215559165 3761239642 --v 6 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0
woman, simple art --ar 5:7 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --sref 4059834270 --v 6
Попробуем Niji.
art of a woman dressed in white t-shirt and black skirt, muted blue wall in the background --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --niji 6
art of a woman dressed in white t-shirt and black skirt, muted blue wall in the background --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --niji 6 --sref 2206251055
2d flat line art of a woman dressed in white t-shirt and black skirt, muted blue wall in the background --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --niji 6 --sref 2206251055
Пользоваться можно, но niji вместе с референсом персонажа (сделанным не в niji) практически не даёт никакой вариативности изображения. К тому же, с некоторыми моделями, сильно меняется их внешность.
Что имеем в итоге? По-разному стилизовать нашего персонажа мы можем. Но со скрипом.
Видимо, для того, чтобы воспроизводить одну и ту же внешность, mj приходится очень сильно давить свои генеративные возможности. Из-за чего и происходит некоторая потеря в вариативности. За всё приходится платить.
Что ж, мы рассмотрели вопросы создания персонажей и их использования. Эта фундамент. Это база.
На нюансах, которые здесь имеются, строится вся специфика работы с --cref. А дальше мы пройдёмся по некоторым более продвинутым темам.
Часть Первая. Создание референса.
Часть Третья. Несколько персонажей в одном кадре.
Часть Четвёртая. Рисованные персонажи.
Часть Пятая. Необычные персонажи. (+Бонус)