"Убедительный" замедленный режим с помощью ИИ

Начался век искуственных интеллектов и на этот раз один такой разрабатывает NVIDIA для создания "убедительных" слоу-мо видео, с добавлением дополнительных кадров.

В чем разница обычного и слоу-мо видео? Правильно, кадры в секунду (или fps). Если обычная съемка проводится при 30 кадрах в секунду, то замедленная - при 120, или даже 240 кадрах. Но на данный момент снимать такое умеют не все смартфоны. Именно здесь на сцену выходят ребята из NVIDIA.

В новом исследовании от дизайнера чипов Nvidia ИИ используется для создания дополнительных кадров, используя глубокое обучение, чтобы превратить видео с 30 кадрами в секунду в великолепные 240 кадров в секунду замедленного движения. По сути, система ИИ смотрит на два разных кадра, а затем создает промежуточные кадры, отслеживая движение объектов от одного кадра к другому. Это не то же самое, что на самом деле воображать кадры, как это мог бы человеческий мозг, но всё же дает точные (хотя и не идеальные) результаты.

Процесс будет нуждаться в уточнении и доработке, прежде чем его можно будет использовать в коммерческих целях, но при его улучшении он может быть использован для добавления эффектов замедленного воспроизведения после записи видео для смартфонов. Говоря проще, при идеальном раскладе, большинство смартфонов с обычной камерой могут создавать слоу-мо видео при помощи ИИ и без необходимости специально для этого покупать Galaxy S9/S9+.

«Несмотря на то, что видеоролики на большинстве смартфонов можно будет снимать с частотой 240 кадров в секунду, запись всего видео с высокой частотой кадров нецелесообразна, так как требует много памяти и энергопотребления для мобильных устройств», - пишут исследователи в газете описывая их работу на сервере pre-print arXiv . «По этим причинам и другим вопросам представляет интерес создавать высококачественные слоу-мо видео из существующих видеороликов».

Однако есть ограничения. Во-первых, исследователи должны были "обучать" свою систему глубокого обучения для обработки определенных типов кадров. Поэтому, чтобы замедлить видео автомобиля, проскальзывающего через воду, им пришлось сначала обучить его аналогичным кадрам. Это может ограничивать, насколько широко потребительская версия исследования может применять слоу-мо движение к целевому видео. Стоит также отметить, что такой метод не может создавать бесконечное количество промежуточных кадров. Без данных компьютеры не могут предсказать движение и поведение объектов в реальном мире. Однако система Nvidia может создавать до семи промежуточных кадров, чего более чем достаточно для создания приличного замедленного движения.

На данный момент, техники NVIDIA создали лучший метод фальсификации замедленной съемки из ныне существующих.

Источник: The Verge

Больше интересных новостей здесь.