Google заменила зеленый экран нейросетью

Корпорация разработала алгоритм, позволяющий в реальном времени заменять фон.

Разработчики создали специальный нейросетевой алгоритм, заменяющий любой фон даже на мобильных устройствах в реальном времени. За модель они взяли модель сверточной нейросети, которая была разработана для сегментации изображений. К трём основным цветовым каналам (зеленый, синий, красный) программисты добавили новый, сегментированный кадр:

Для того,чтобы научить нейросеть различать объект и фон, разработчики загрузили десятки тысяч изображений людей с помеченными по цвету объектами на человеке:

Получившийся результат превзошёл все ожидания. Нейросеть может обрабатывать видео с огромной скоростью: для iPhone 7 этот показатель составляет более 100 кадров в секунду, а для Google Pixel 2 - более 40. Коэффициент различия фона и человека составляет 94.8 процента. Разработчики уже сообщили, что у части пользователей новая функция уже доступна. Они встроили сервис замены фона в мобильном приложении YouTube:

В настоящее время зеленый фон используется часто в кино. С помощью технологии хромакей на зеленом (или даже синем) фоне снимают актёров, а затем в редакторе накладывается другое изображение. Новая технология скорее всего заменит маленькие проекты, которым невыгодно использовать хромакей. При этом существующие технологии автоматического вырезания не подходят из-за их низкого качества.

Подписывайтесь на «Код Дурова» в Telegram и во «ВКонтакте», чтобы всегда быть в курсе интересных новостей!