Как генерировать видео в нейросетях

С развитием технологий искусственного интеллекта возник новый тренд в области медиапроизводства: генерация видео с помощью нейросетей. Сегодня уже существует ряд нейросетевых решений, которые позволяют создавать качественный видеоконтент, основанный на заданных параметрах или образцах.

В этой статье мы рассмотрим два сервиса: GEN-2 и Kandinsky 2.2. Для каждого из них предоставлены ссылки на официальные сервисы, примеры успешных генераций и инструкции как быстро и без лишних сложностей начать работу с генерацией видео с помощью нейронных сетей.

Генерация видео в GEN-2 от Runway

GEN-2 от Runway представляет собой нейросеть для генерации коротких видеороликов на основе текстовых описаний, предоставленных пользователем.

Кроме того, GEN-2 отмечается как мультимодальная система искусственного интеллекта, которая может генерировать новые видео с помощью текста, изображений или видеоклипов, позволяя синтезировать видео в любом стиле, который пользователь может представить, используя только текстовый запрос​​. Эта нейросеть также может изменять визуальную стилистику исходного видео по текстовым промтам или референсам в виде картинок и видео​​.

Runway GEN-2 доступен на сайте или в приложении для iOS. На сайт можно зайти без VPN, а приложение есть в российском регионе.

Как воспользоваться Runway GEN-2 для генерации видео

Если вы используете веб-сайт:

1. Зарегистрируйтесь на сайте Runway или войдите через аккаунт Google или Apple.
2. Нажмите Introducing GEN-2 или найдите опцию GEN-2: Text-to-video во вкладке AI Magic Tools.
3. Введите запрос на английском языке и дождитесь генерации видео.

Если вы используете приложение (для iOS):

1. Нажмите на фиолетовую кнопку с волшебной палочкой на главной странице приложения.
2. В появившемся окне выберите GEN-2 и зарегистрируйтесь или войдите.
3. Введите запрос на английском языке и дождитесь генерации видео

Формула запроса

Примерная формула, которая дает лучшие результаты. Запрос стоит формулировать так:

стиль — жанр — кадр — объект — действие — окружение — освещение.

Например, если вы хотите сгенерировать сцену из фантастического фильма, где космический корабль летит в открытом космосе, можно попробовать такой запрос:

Cinematic action, sci-fi film, futuristic spaceship flies in outer space, neon lighting.

Параметры, которые можно указать в запросе:

Стиль: cinematic action (кино), animation (анимация), black and white (черно-белый фильм)

Жанр: sci-fi film (научно-фантастическое кино), cyberpunk film (киберпанковый фильм), fantasy film (фильм-фэнтези)

Кадр: wide angle (широкий угол), medium shot (средний план), close up shot (крупный план), extreme close up shot (очень крупный план), long shot (общий план), over-the-shoulder shot (кадр через плечо)

Объект: a child with a balloon (ребенок с воздушным шаром), an elderly man with glasses (пожилой мужчина в очках), a tall skyscraper (высотное здание), a sports car (спортивная машина).

Действие: walking (идет), dancing (танцует), talking (говорит), swimming (плавает), laughing (смеется).

Окружение: forest (лес), desert (пустыня), tropical island (тропический остров), space station (космическая станция).

Освещение: candlelight (при свечах), soft focus (мягкий фокус), backlighting (подсветка сзади), natural light (естественное освещение).

Как создать видео из готового изображения

GEN-2 предоставляет возможность создавать анимированные сцены не только на основе текстовых запросов, но и используя изображения.

1. Загрузите изображение нажав на иконку рядом с текстовым полем.
2. (Опционально) Добавьте текстовый запрос, описывающий, что должен делать персонаж или что происходит в сцене. Это дает дополнительный контекст и помогает системе создать желаемый видеоролик.

Остерегайтесь нарушений авторских прав: изображения из фильмов или сериалов не принимаются. Используйте стоковые изображения или собственные фотографии.

Совет: создайте арты в Midjourney, а затем анимируйте их в GEN-2. Инструкция по работе с Midjourney доступна по ссылке.

Некоторые особенности сервиса

Платформа позволяет создавать короткие четырехсекундные сцены, что ограничивает длину одного ролика. После регистрации каждому бесплатному аккаунту предоставляется 105 секунд для генерации, что соответствует примерно 26 попыткам. Важно отметить, что даже неудачная попытка будет засчитана в общий лимит.

• Пробный период: После регистрации каждому пользователю бесплатно предоставляется 105 секунд генерации, что эквивалентно примерно 26 попыткам. Неважно, удовлетворены вы результатом или нет, каждая генерация списывает секунды с вашего аккаунта.
• Проекты: Вы можете бесплатно создать три проекта, объединив в каждом несколько сгенерированных роликов.
• Оплата: Обратите внимание, что оплата российской картой в настоящее время невозможна.

Генерация видео в Kandinsky 2.2

Функцией генерации анимационных видео в Kandinsky 2.2 можно воспользоваться через официального бота в телеграм

Пока доступ к модели открыт только самым активным пользователям модели Kandinsky 2.2, но каждый может оставить заявку на получение доступа (внутри бота доступна кнопка «Оставить заявку») Доступы к боту выдаются каждую неделю (как из числа активных пользователей Kandinsky 2.2, так и из списка оставивших заявку)

Как приступить к созданию анимации

• Запуск бота:

Введите команду /start в поле ввода.

• Создание сценария:

1. Отправьте текстовое описание.
2. Выберите один из 16 эффектов анимации.
3. Вы можете ввести до 3 текстовых описаний и выбрать эффект для каждого.
4. После завершения, нажмите «завершить сценарий».

• Выбор разрешения:

Выберите одно из трех доступных разрешений: горизонтальное (832х448 пикселей), квадратное (640х640 пикселей) или вертикальное (448х832 пикселей).

• Генерация и ожидание:

Генерация 4-секундного видео займет некоторое время, примерно 20 секунд на 1 секунду видео. Ожидание может увеличиться из-за возможной очереди.

• Просмотр примеров:

Для ознакомления с примерами движения камеры воспользуйтесь командой /examples в боте.

Каждый эффект анимации представляет собой различные движения камеры в сцене, включая погружение в изображение, обзор объекта с разных сторон, вращение на 360 градусов и другие.

Генерация нескольких сцен в одно видео

Кандинский умеет генерировать 2-3 сцены за одну генерацию, что позволяет создавать мини-сценарии. Переходы между сценами происходят с помощью склейки наплывом.

При создании генераций с 2-3 промптами важно учитывать некоторые аспекты для достижения оптимального результата: рекомендуется использовать промпты схожего или одного стиля; режимы движения камеры должны логично развивать сюжет и согласовываться друг с другом. Можно сначала проверить промпты в Kandinsky 2.2, а затем генерировать видео, чтобы оптимизировать процесс и получить желаемый результат.

Некоторые рекомендации для получения лучшего результата:

• Избегайте мелких деталей:

Мелкие детали могут вызвать "мерцание" в видеороликах. Лучше избегать их при генерации серии кадров, чтобы уменьшить этот эффект.

• Пропорции кадра:

Выбирайте пропорции кадра в зависимости от сцены: квадрат, горизонтальный или вертикальный. Это поможет избежать искажений, особенно при использовании эффекта движения камеры.

• Единообразие:

Повторяйте описание персонажей, объектов или локаций в каждой сцене для создания связной истории. Подумайте также о цветах и освещении. Определите стиль генерации для каждой сцены: рисованная, 3D-анимация, фотореализм или цифровая живопись, чтобы сохранить единообразие видео.

• Эффект движения камеры:

Эффекты движения камеры создаются увеличением и перемещением изображения. Выбирайте движение камеры в зависимости от пропорций кадра и сцены, чтобы избежать обрезания объектов и искажений.

Будьте в курсе новейших технологий и экспериментируйте с современными инструментами генерации контента!

В следующих статьях мы рассмотрим возможность генерации видео в Шедевруме и Pika Labs.

Кстати, гайд как сделать такое же видео, как в начале статьи, можно посмотреть здесь.

Новостями и полезными материалами про работу с данными мы делимся на канале DataTalks