Как писать промпты для Stable Diffusion

Промпты для Stable Diffusion — это текстовые описания того, что вы хотели бы изобразить в формате картинок. Такие запросы можно условно разделить на простые и профессиональные.

Простые запросы выглядят примерно так: "девушка в парке с зонтиком", "средневековый замок" и пр., но такие промпты вы можете писать и без инструкции, однако и результат может оказаться далеким от желаемого, поэтому мы глубже разберем методы управления результатами генераций.

Stable Diffusion в @yes_ai_bot поддерживает ввод текста на всех языках мира, поэтому в данной статье разберем примеры на русском языке.

Пунктуация в промптах Stable Diffusion

Есть несколько простых правил написания промптов, перечислим их.

В начале запроса пишется основной объект (объекты), который нужно изобразить, например "слон"

Далее через запятую перечисляются детали одежды, окружение, дополнительные персонажи и пр., например "золотые доспехи, на фоне неба летают птицы".

Если ИИ не нарисовал какой-то из перечисленных объектов, то у фразы, которая его описывает, нужно повысить вес, это делается с помощью круглых скобок (), например "слон с (большими ушами), на фоне неба летают (птицы)".

В этом примере фраза "большими ушами" и слово "птицы" заключены в одинарные круглые скобки, это дает нейросети понять, что вес этих объектов нужно повысить на 10% по отношению к остальным словам и фразам в промпте. Повышение веса можно делать и по-другому "слон с (большими ушами:1.2), на фоне неба летают (((птицы)))".

В данном случае мы повысили вес фразы "большими ушами" на 20%, а вес слова "птицы" на 30%. Каждая пара круглых скобок повышает вес на 10%, а вес от "1.1" до "1.7" — это множитель от 10% до 70%. Если указывать еще большее значение веса, то с высокой вероятностью нейросеть изобразит шум вместо описанного изображения.

Когда применяются квадратные скобки? Есть несколько случаев, но сейчас мы рассмотрим "скрещивание" (смешивание), например "[слон:шерсть:0.4]". В таком методе нейросеть будет рисовать слона в течение 40% шагов сэмплинга (шагов прорисовки), а оставшиеся 60% на слоне будет дорисовываться шерсть. Количество шагов сэмплинга устанавливается в основных настройках SD: "24 steps" и "35 steps". Таким же образом можно делать мутации объектов, например "[кот:пчела:0.3] сидит на скамейке". Нейросеть будет сначала рисовать кота (на 30%), а потом попробует преобразовать его в пчелу (на 70%), ну а получившийся мутант в итоге будет сидеть на скамейке.

Не рекомендуется использовать в качестве разделителей фраз какие-либо другие знаки препинания кроме запятых, в частности, не следует использовать переносы строк, точки, многоточия и пр.

Не рекомендуется писать очень длинные промпты, как правило это искажает результат. Пример достаточного размера промпта: "лето, ((fullbody)), летняя фея, необычайно красивая, изящная, соблазнительная, цветы, бабочки, трава, отличная погода, искусство, (кинематографическое освещение), мягкие тени".