«Нейросети вытеснят из киноиндустрии как минимум половину профессий»

Режиссер и продюсер Сергей Валяев с помощью нейросетей снял для «Мумий Тролля» кислотный клип «Милота», а с нами поделился эпопеей о его создании: концепция мономифа, трюки Ильи Лагутенко, безумный пайплайн работы, попурри из камер, котики и даже чилийские белки

— Как сложилось твое сотрудничество с «Мумий Троллем» и какие задачи перед тобой ставились в клипе?

— Нас с Ильей Лагутенко в Лос-Анжелесе познакомил Александр Незлобин. Илья обратился ко мне по поводу клипа, и мы долго обсуждали, что же можно сделать. В прошлом мае я засел за сценарий, накидал идеи, от которых можно было оттолкнуться. «Мумий Тролль» прислали три песни, и я остановился на той, вокруг которой можно было быстрее всего развить какую-то историю. Мне хотелось, чтобы клип на «Милоту» был идеальной иллюстрацией музыки, чтобы все было идеально в бит, чтобы действие было музыкальной визуализацией.

Также для меня было важно сохранить стилистику «Мумий Тролля». Я пересмотрел всех их клипы, концерты, и понял, что лейтмотивом может служить склонность к странным образам и символизму. Отталкиваясь от этого, я решил, что сюжет может быть галлюциногенным трипом сквозь другие миры, причем каждый следующий мир становится все страннее и страннее.

— Расскажи о сценарии клипа и в целом о препродакшне.

— У нас был очень большой этап препродакшна. Обычно с клипами в России так никто не парится, да и я так тщательно фокусировался на подготовке, только когда делал «Хардкор».

Я решил сделать классическую трехактовую структуру, вариацию концепции мономифа, описанного Джозефом Кэмпбелом в «Тысячеликом герое». Только если в кино это растягивается на два часа экранного времени, в рамках клипа мы получили экстракт на три минуты.

Наш герой выходит из реальности и проходит по нескольким мирам, в которых встречает старца-проводника, препятствия и антагонистов. При этом путешествие происходит как бы внутри самого героя и сталкивается он с самим собой. Простая структура, построенная на основе архетипов, позволяет быстрее и комфортнее считывать происходящее на экране безумие.

Я взял трек, разбил его на части, где происходят какие-то изменения, и выделил двенадцать часов путешествия героя. Это позволило мне понять, где находятся склейки. А дальше я буквально по миллисекундам расписал весь сценарий. Результат получился довольно большой — двенадцать страниц текста мелким шрифтом, перемешанным с картинками.

Клип группы «Мумий Тролль» «Милота» 

Идея клипа получилась непростая, ее пришлось внятно объяснить большой группе людей. Я выбрал максимально репрезентативную манеру — большую и красочную презентацию, с референсами и четким указанием, в какую секунду и что происходит.

Вместе с художником-постановщиком Глебом Резниченко мы создали раскадровку всего клипа. На ее основе я смонтировал аниматик с референсными роликами. По сути, я полностью смонтировал весь клип еще до того момента, как снял первый кадр. Такой подход позволил не только аргументировано отстаивать свою позицию в общении с менеджментом группы, но и увлечь съемочную группу проектом. К сожалению, в России не очень принято внимательно читать сценарии, но видеоролики и презентации люди смотрят более осознанно.

— Поговорим о главной «фишке» клипа — нейросетях. Как возникла идея их использовать и в чем специфика их применения в формате музыкального видео?

— Изначальная идея состояла в том, что это будет мультик. Главным референсом было «Пробуждение жизни» Ричарда Линклейтера. Только если Линклейтер в 2000 году на постпродакшн потратил год с огромной командой, которая покадрово ротоскопировала отснятый материал, то сейчас нечто подобное можно делать намного быстрее. В основном мы использовали технологию style transfer, когда стиль одного изображения при помощи нейросетевого алгоритма переносится на стиль другого. По этому принципу построены развлекательные приложения, вроде Artisto, Prisma, Banuba, Vinci.

Где-то год назад я ездил в Нью-Йорк, поснимал там паркур. Потом связался с ребятами из Artisto и попросил обработать несколько кадров. Получился референс, который я показывал Илье Лагутенко. Мне хотелось развить эту тему с перерисовкой в клип, и «Мумий Тролль» меня поддержали.

Я придумал пять миров, в каждом из которых должна была быть своя рисовка. На каждую я подобрал референс и обратился к команде программистов, которая с нуля должна была разработать перенос уникального стиля. Месяца два ребята писали, но все выглядело плохо. Я понял, что разрабатывать собственные стили — тупиковый путь, потому что у меня не было доступа к специалистам, достаточно заинтересованных в этом, и достаточного бюджета на эксперименты.

Тогда я обратился к Олегу Илларионову, разработчику Vinci. Он дал мне доступ к серверу, куда можно было загрузить видеофайлы и на выходе получить обработку в фильтрах Vinci. Но выяснилось, что далеко не все изображения могут нормально переноситься. Например, в некоторых стилях красиво переносится рисовка изображения, но цвета становятся ужасными. Другие делают интересные цвета, но ужасную рисовку.

Тестовые съемки кадра из клипа «Милота»

Из-за этого нам пришлось пройти через безумный пайплайн работы. Мы снимали сцену, моделили трехмерный мир, генерировали частицы, композили, цветкорили, потому что перед прогоном алгоритма требовалась определенная констрастность и определенный набор цветов, и только потом прогоняли итог через нейросети. Результат мы смешивали с оригинальным изображением и опять цветкорили. Получался слоеный пирог из трех-четырех версий обработки одной и той же сцены.

Создание графики для клипа «Милота»

— Помимо названных тобой приложений клип вызывает ассоциации с компьютерной игрой — это сознательное решение?

— Да, я большой фанат компьютерных игр, и в целом могу сказать, что они на меня оказали большее влияние, чем кинематограф. Кроме того в процессе подготовки я понял, что Илья Лагутенко не сможет играть главного героя все съемки. Илья мог быть доступен на один, максимум — два съемочных дня. Мне нужно было выдумать такой подход, который бы в ограниченных условиях, без участия Лагутенко, позволил провести героя через всю историю. Манера движения камеры в стиле компьютерных игр позволяет легко маскировать дублеров. Большую часть клипа мы видим героя со спины, или его глазами от первого лица, или общим планом сбоку. Камера линейна, имеет простой характер движения — всегда направляется прямо. Основным дублером выступил каскадер Илья Поздняков, но в общей сложности дублеров было семь человек.

— В какие сроки уложились съемки?

— Восемь с половиной съемочных дней, что довольно много для клипа. Съемки были сложными. Во-первых, большая часть группы, несмотря на аниматики и презентации, не очень осознавала, что именно мы снимаем. Во-вторых, в сценарии много опасных трюков, потребовавших подготовки и дублей.

— Трюки в клипе начинаются с первых кадров. Расскажи об открывающей сцене, в которой трюк выполняет сам Лагутенко.

— Идея с вращением лидера группы, сходящего со сцены, мне пришла давно, и я все думал, кому бы ее предложить. Сцена снималась вживую, в «Мумий Тролль Баре». Подготовку этого трюка, как и всех остальных, мы начали вместе с постановщиком трюков Михаилом Бельским за много месяцев до съемок.

Использовалось специальное устройство для вращения человека. У каскадеров был гимбл с колесной базой, на которую установлен штифт с рулем, зажимом для торса и жилетом. Но гимбл был слишком большой, так что нам пришлось строить укороченную колесную базу. Крутить конструкцию было физически тяжело. Каскадеры, несмотря на физическую подготовку, быстро уставали, что сказывалось на плавности вращения. А еще Илье было непросто висеть вниз головой. Так что у меня было ограниченное количество дублей.

Единственное ЧП за все съемки произошло именно в этот день. Во время репетиционного прогона переломилась главная ось устройства. Нам космически повезло, что это была репетиция, и в этот момент пристегнут был каскадер, а не Лагутенко. К тому же дублер был в момент перелома не вниз головой, так что он просто прыгнул на ноги и даже спас камеру.

 Тест трюка для клипа «Милота»

Кстати, это была единственная смена, которую мы закончили снимать с переработкой где-то на час. В остальном смены мы заканчивали снимать раньше времени из-за планирования на препродакшене.

— Какие еще сцены дались непросто?

— Та, где главный герой должен был прыгнуть на трос, сделать сальто и в полете ударить рыцаря. Для начала нужно было построить декорации в виде кубов разной высоты, между которыми мы натянули трос. Главная задача, которую я поставил постановщику трюков — добиться максимальной синхронизации движений героев и музыки. Автоматизированных систем у нас не было, поэтому мы задействовали группу из восьми каскадеров, дергавших за тросы, что помогало правильно прыгать дублеру. Но самым большим испытанием эта сцена стала для рыцаря. Латы были хоть и декоративные, но настоящие. Металл надевался на тканевую подкладку. Далее каскадер на протяжении нескольких часов стоял под очень теплыми спейс-лайтами и двигался, отыгрывая падение. Я никогда не видел, чтобы человек так потел — где-то дубле на тридцатом парень снял шлем, и из него вылился стакан пота. Тогда я понял, что больше снимать нельзя, иначе я убью человека.

Сцену с котенком мы снимали всего минут двадцать. Каскадеру Илье нужно было пройти мимо бутафорских кустов. В определенный момент по композиции он должен был отойти в сторону, чтобы камера не увидела его лицо. Потом должен был подойти Лагутенко в образе старца и поднести котенка, который должен был посмотреть точно в камеру. Все это на сверхширокоугольной оптике, то есть нам буквально нужно было тыкать камеру в морду котенку. Вроде бы звучит просто, но из-за животного в кадре это казалось сложно. В итоге нам безумно повезло — котенок не просто посмотрел в камеру, но еще и подмигнул.

— Помимо котенка в клипе есть крыса. С ней сцена была сложной?

— Это не крыса, это дегу, чилийская белка. Когда я писал сценарий, мне нужен был нестандартный, запоминающийся враг-босс. Я думал об архетипичных человеческих образах, о насекомых и животных, и в какой-то момент решил оттолкнуться от своих ассоциаций с образом муми-троллей. Я вспомнил, что на этих сказочных персонажей похожи дегу — они имеют похожую форму тела и кисточку на хвосте.

Прикинув аренду дегу и сложность предстоящих съемок, я решил, что проще будет купить животное, самому его выдрессировать и в свободной обстановке отснять дома. Правда, пришлось купить двух дегу, потому что поодиночке они чахнут. Впрочем, съемкам это помогло — животные моментально уставали, а так я мог их менять. На три кадра с белками я потратил пару дней.

Мне нужен был объектив с определенными характеристиками: широкоугольная оптика, позволяющая маленький объект изобразить большим, и при этом с возможностью фокусироваться на очень близком от объекта расстоянии. Такой оптики в России не оказалось — у нас острый дефицит сверхширокоугольной макро-оптики. Можно было использовать переходники, но конструкция выходила слишком громоздкой, что превратило бы съемки дегу в пытку. Я нашел в Китае нестандартный объектив Laowa 15-мм MACRO. Именно он и позволил добиться нужного эффекта и правильных дисторсий.

— А камеру ты какую использовал? Постобработка требовала чего-то конкретного?

— Клип снимался на разные камеры. У нас же клип вышел в стиле попурри из разных камер. Оператор Максим Кленов, который снимал сцену в клубе, единственную без перерисовки, и сцены с хромакеем, остановил выбор на ALEXA XT и ALEXA Mini.

Все остальное я снимал сам на более простые камеры GH4 и GH5. Один кадр и вовсе был снят на GoPro, потому что на морозе остальные камеры быстро разрядились. Кадры с дегу и всю сцену от первого лица я снимал при помощи Panasonic EVA1. Это потрясающая камера, на которую я вполне мог снять весь клип, если бы она вышла несколькими месяцами ранее.

Cцены с коптером мы снимали вместе с оператором Георгием Тарасовым, используя потребительский дрон DJI Mavic. У нас не было разрешений на съемки и все пробеги мы снимали guerrilla style. С большим дроном мы бы не сняли подобного.

Все изображение перерисовывалось, а раз так, то, кроме начальных сцен и хромакея не было значения, какое качество картинки будет на входе. Но главная причина разброса — экономия средств.

— Какая команда работала над визуальными эффектами?

— Я обошел несколько студий визуальных эффектов. Мне требовались очень простые решения для четко поставленных задач, но везде мне предлагали максимально сложные, намекая на смену концепции и увеличение бюджета.

В итоге вместе с арт-директором Дмитрием Журавлевым мы решили сформировать команду под проект с нуля. Это позволило сохранить контроль над производственными моментами, исключить посредников и уложиться в бюджет. Я осознавал, что мы можем идти по пути упрощения во многих сценах, благодаря технике перерисовки, но мы все равно столкнулись с рядом производственных сложностей.

Пример — сцена с отращиванием бороды. Художник-трехмерщик Элвис Гинцяк предложил не отращивать бороду при помощи композинга, помноженного на симуляцию волос, как это делали студии. Вместо этого он придумал прилепить Илье накладную бороду, стричь ее этапами, а потом запустить сцену в обратную сторону. Это было просто, дешево, зрелищно, а потому гениально.

Почти все, что вы видите в клипе, сделано в технике реалистичного 3D. Мы не использовали мэтпеинтеров и все детали моделировали в 3D. Все 3D-объекты в клипе авторские, мы не использовали готовых решений и стоковых моделей. Трехмерные сцены позволяли легко перерендерить нужные куски и тонко настроить виртуальные камеры. Кроме того, имея большое количество проработанного авторского контента, мы можем создать для «Мумий Тролля» визуализации для концертов и мерча.

— Клипы часто становятся экспериментальной платформой для кино. Какие перспективы есть у применения нейросетей в киноиндустрии?

— Нейронные сети сейчас находятся в зачаточном состоянии, но очевидно, что в ближайшее время они перевернут индустрию. Клип обрабатывался в офисе «ВКонтакте». Стайл-трансфера изображения я ждал по три минуты — это очень быстро. Дальше те же технологии будут использоваться для вырезания объекта от фона, а значит все ротоскоперы потеряют работу. Также нейросети будут использоваться для композа. Нейросети будут собирать изображение, как человек, а может даже и лучше, да еще и бесплатно. Проблема только в том, что не всегда люди в индустрии понимают это. Кто-то сказал, что нейросети можно использовать для стайл-трансфера. Это хайпануло, люди поигрались и забыли. Но технология никуда не ушла. Сейчас становится понятно, что в первую очередь это нужно профессионалам. Поэтому скоро это все вернется в виде плагинов для Adobe After Effects, Adobe Premiere, Nuke и так далее. Боюсь это представить, но, думаю, нейросети вытеснят из индустрии как минимум половину профессий.

Всем спасибо за то, что дочитали до этого места.
Если вам интересны подобные посты,
то подписывайтесь на Телеграм-канал.

Источник: https://tvkinoradio.ru