Нейросети

Приветствую всех, кто будет это читать. Здесь я постараюсь подробно рассказать о том, что я узнал про нейросети, а именно такие, как Midjourney, DALL-E 2, DALL-E 3 (да, 2 и 3 DALL-E - это разные модели, как оказалось), и Stable Diffusion.

Особенности в работе с нейросетями

У каждой нейросети есть свои особенности, которые нужно учитывать перед началом работы.

Midjourney

1. Midjourney оперирует через  Discord-канал: запросы для генерации изображений отправляются в чат-канал newbies.

Окно Discord-канала Midjourney

2. Новым пользователям доступны 25 бесплатных запросов, а за дополнительные 200 запросов придется заплатить $10.

3. Нейросеть создает коллаж из четырех изображений в ответ на запрос, с размерами, устанавливаемыми через флаги --w и --h.

"Вообще там много других флагов, но, к слову, это единственная нейросеть, в которой я практически не разбирался. Потому что я не знаю английский, и она работает в Discord, где я почти не бываю, и мне там было очень трудно ориентироваться. Поэтому я не пользовался этой нейронкой."

4. Возможность улучшать или генерировать дополнительные варианты для изображений.

DALL-E 2

1. Пользователям предоставляются 50 бесплатных запросов в первый месяц и 15 в каждый последующий через API, доступный через VPN для российских пользователей.

2. Возможность генерировать дополнительные варианты изображений.

3. Для каждого изображения можно сгенерировать дополнительные варианты, из которых можно отобрать лучшие иллюстрации.

4. Ограничение на формат 1:1 для изображений, это минус.

DALL-E 3

По сути, эта модель отличается от DALL-E 2, поскольку DALL-E 2 работает в ChatGPT от OpenAI, а DALL-E 3 работает в Bing. Это совершенно другой искусственный интеллект уже от Microsoft. Смею предположить, что и то, и другое имеет название DALL-E, возможно, из-за единой базы, но кажется, что DALL-E 2 лучше, поскольку у нее больше функционала.

Так выглядит интерфейс нейросети DALL-E 3, и, как можно заметить, у нее, среди всех перечисленных нейросетей, самый скудный функционал.

Всё, что нужно для работы в ней, — всего лишь аккаунт в Microsoft. По уму, эта нейросеть не уступает остальным, поэтому ей может воспользоваться каждый и получить качественную картину.

Как и DALL-E 2 работает только с форматом 1:1, что безусловно опять же недостаток.

Stable Diffusion

1. Исходный код проекта открыт. Для работы с нейросетью можно скачать git-репозиторий и развернуть свой web-сервер.

2. В Stable Diffusion есть параметры для гибкой настройки генератора изображений, включая размер, точность соответствия запросу и другие.

• Height, Width — размер изображения.
• Classifier Free Guidance Scale — насколько точно изображение должно соответствовать запросу. Рекомендуем использовать стандартное значение — 7,5.
• Number of batches to generate — сколько всего подборок сгенерирует нейронная сеть.
• Images per batch — количество изображений в одной подборке.
• Sampling steps — количество раз, которое нейронная сеть обрабатывает изображение. Для всех изображений в статье параметр равен 70.
• Sampling method — метод выбора «лучших» изображений во время генерации — для простых запросов разница незаметна. В большинстве случаев использовали стандартный метод k_lms.

3. Есть возможность улучшать изображения с помощью встроенного параметра — Upscale images using RealESRGAN.

Stable Diffusion можно и не устанавливать

Теперь хочу сказать, что Stable Diffusion не обязательно устанавливать на ПК. Можно попробовать и онлайн, но она будет менее гибкой. Я полагаю, этого будет достаточно, чтобы поиграться с ней и понять, а надо ли оно тебе вообще.

Вот ссылка поиграйтесь: https://stablediffusionapi.com/playground

Так что, если вы готовы погрузиться в мир нейросетей, у каждой из них есть свои особенности и возможности для творчества!