--cref, исследование.
@srefrandomЧасть Четвёртая. Рисованные персонажи.
Давайте посмотрим как обстоят дела, если на исходнике не реалистичное изображение.
Опять пройдёмся по нюансам, погоняв пару персонажей по разным промтам.
Начнём с уже знакомой вам дамы.
woman --ar 3:4 --sref 3563375953 --v 6
Вспомним, что у нас получилось с тестовым промтом:
photo of a woman, she dressed in white t-shirt and black skirt, muted blue wall in the background --ar 2:3 --style raw --cref https://i.imgur.com/trT5Eed.jpeg --cw 0 --v 6
Как мы уже знаем, с рисунков мы легко можем получать реалистичные фото. Но давайте уберем из нашего промта это самое photo.
woman dressed in white t-shirt and black skirt, muted blue wall in the background --ar 2:3 --style raw --cref https://i.imgur.com/trT5Eed.jpeg --cw 0 --v 6
Внезапно, у нас опять реалистичное фото. Попробуем убрать детали и --style raw:
woman --ar 2:3 --cref https://i.imgur.com/trT5Eed.jpeg --cw 0 --v 6
Судя по всему, у функции --cref есть приоритет именно на реалистичные изображения (хотя, возможно, это справедливо не для всех персонажей).
А как быть, если нам нужен рисунок? На самом деле, всё просто.
Начнём с малого:
art of a woman --ar 2:3 --cref https://i.imgur.com/trT5Eed.jpeg --cw 0 --v 6
Получаем интересный эффект. С одной стороны, это такие дефолтные для mj стили рисунка, которые генерируются по подобным простым запросам. С другой, наша модель выглядит в них "более рисованной", чем те, что сделаны с реалистичных референсов. Сравним:
art of a woman --ar 2:3 --cref https://i.imgur.com/zF5K2IV.jpeg --cw 0 --v 6
Если вкратце подытожить, то --cref делает с рисунков реалистичные фото. Но при генерации рисунков, сразу начинает проглядывать стилистика исходника.
Вот ещё пара примеров:
art of a woman --ar 2:3 --v 6 --cref https://i.imgur.com/trT5Eed.jpeg --cw 0 --sref 2206251055
art of a woman, by Thomas Theodor Heine --ar 2:3 --v 6 --cref https://i.imgur.com/trT5Eed.jpeg --cw 0
А теперь, давайте попробуем сделать изображения нашей модели в том же стиле, что и исходник. В данном случае, это будет довольно просто, ведь исходник сделан с помощью sref-кода.
art of a woman dressed in white t-shirt and black skirt, muted blue wall in the background --ar 2:3 --cref https://i.imgur.com/trT5Eed.jpeg --cw 0 --v 6 --sref 3563375953
Но есть и другой вариант. Мы можем наш исходник использовать и как референс персонажа, и как референс стиля.
art of a woman dressed in white t-shirt and black skirt, muted blue wall in the background --ar 2:3 --cref https://i.imgur.com/trT5Eed.jpeg --cw 0 --v 6 --sref https://i.imgur.com/trT5Eed.jpeg
Результат, не идентичный, но близкий предыдущему.
Теперь попробуем сделать генерацию в niji.
woman dressed in white t-shirt and black skirt, muted blue wall in the background --ar 2:3 --cref https://i.imgur.com/trT5Eed.jpeg --cw 0 --niji 6
Перебирать варианты не будем, скажу сразу - в niji сильно начинает плыть внешность. Как и в случае с реалистичными фото, niji не очень работает с персонажами (сделанными не в самом niji)
Давайте по-быстрому глянем ещё пару персонажей, сделанных в разных стилях.
Начнём вот с такого (пора уже разбавить наше дамское царство):
art of a man in 2d flat comic style, he has a great mustache --ar 5:7 --v 6
man dressed in classic jacket, muted blue wall in the background --ar 2:3 --cref https://i.imgur.com/84rgLzn.jpeg --cw 0 --v 6
photo of a cook --ar 2:3 --cref https://i.imgur.com/84rgLzn.jpeg --cw 0 --v 6
art of a duelist with estoc --ar 2:3 --cref https://i.imgur.com/84rgLzn.jpeg --cw 0 --v 6 --sref 2142645761
art of a 1920s officer --ar 2:3 --cref https://i.imgur.com/84rgLzn.jpeg --cw 0 --v 6 --sref https://i.imgur.com/84rgLzn.jpeg
Дальше сделаем персонажа в niji и посмотрим, как дела обстоят там.
woman --ar 5:7 --niji 6 --sref 3761239642 --sw 25
woman dressed in white t-shirt and black skirt, muted blue wall in the background --ar 2:3 --style raw --cref https://i.imgur.com/YBvC9O2.jpeg --cw 0 --v 6
Нууууу... Что-то даже получилось) Из моего опыта, реалистичные фото, сделанные с niji-референсов, часто выглядят странновато, но иногда получается приемлемо.
Давайте, заодно, попробуем поднять --cw и посмотрим, как нарисованная одежда становится настоящей.
photo of a woman --ar 2:3 --style raw --cref https://i.imgur.com/YBvC9O2.jpeg --cw 70 --v 6
art of a woman --ar 2:3 --cref https://i.imgur.com/YBvC9O2.jpeg --cw 40 --niji 6 --sref 2132321835
art of a woman dressed in sundress, field setting --ar 2:3 --cref https://i.imgur.com/YBvC9O2.jpeg --cw 10 --niji 6 --sref 2729107058 --sw 20
По рисункам тоже пробежались, и думаю, с ними всё понятно. Их вполне можно использовать, как референсы. И в чём-то они оказываются интереснее: позволяют создавать более уникальных внешне персонажей и лучше работают с различными стилизациями.
Если добавить сюда ещё возможность смешивания.... Ну, вы поняли. Эксперименты, эксперименты, эксперименты.
Часть Первая. Создание референса.
Часть Вторая. Работа с персонажем.
Часть Третья. Несколько персонажей в одном кадре.
Часть Пятая. Необычные персонажи. (+Бонус)