Open Data Cam: софт и хард

Ещё год назад мир городских исследований таился в тишине, потому как только-только на свет вышли технологии, позволяющие создать продукты в этой сфере, имеющие характеристику disruptive, пользуясь бизнес-терминологией.

В последний месяц проект Open Data Cam (далее ODC) от лаборатории moovel прогремел во всех тематических информационных каналах.

Посмотреть можно тут — видео и тут — сайт.

Это очень здорово, что такие проекты появляются и становятся открытыми, ведь, например, компания, основанная на деньги Alphabet (Google) из Нью Йорка Sidewalklabs, которая очень интересна как раз своими передовыми разработками, пока не спешит раскрывать секреты.

Мы все движемся к расширению темы urban data mining, предлагая не только новые способы создания данных, но и их использования, как вот эта, к примеру, компания, снова из Нью Йорка FOAM Protocol — тема для отдельной истории.

Проект ODC, насколько мне известно, является первым в своем роде полностью открытым проектом для замера трафика со всей пользовательской документацией, который использует искуственную сверточную нейросеть YOLO для распознавания объектов.

Недавно ещё был проект на платформе машинного обучения Tensor Flow:

https://www.fastcompany.com/…/ai-and-open-data-show-just-ho… 

Но всё же YOLO побеждает всех по соотношению скорость/качество, спасибо автору этой нейросети, Joseph Redmon.

А еще YOLO можно было увидеть в первых роликах про беспилотные автомобили Yandex.

Наша команда, кроме прочего, занимается и темой исследования города, полевыми и кабинетными. И мы уже более года используем в работе технологии, о которых идет речь в новом проекте Moovel Lab. Как и эти ребята, мы открыты и охотно делимся технологиями, но в формате воркшопов, в т. ч. бесплатных.

При создании своей системы сбора полевых данных мы прошли ряд технических сложностей, с которыми столкнулись и Moovel Lab.

Сегодня наша команда уже пришла к оптимальным решениям и мы уже имеем, пожалуй, лучшую систему для комплексного сбора полевых данных среди нам известных — работающую в режиме реального времени, точную, с возможностью масштабной развертки и действующую в любых, даже самых сложных условиях. Об этом расскажу подробнее в дальнейшем.

На всей этой почве хочу поделиться несколькими соображениями.

Беспокоит цена оборудования для целей городских исследований в режиме DIY.

Миникомпьютер Jetson TX2, который предлагают ребята, стоит 40 000, 00 руб. Добавьте хорошую камеру, аккумулятор, штатив и прочее. Будет вплоть до 100 000, 00 руб. за один комплект. Это дорого и опасно — такой комплект не оставить на улице без присмотра и вряд ли он может быть в количестве более, чем 1-2 на команду.

Jetson TX2 — модуль от Nvidia, — в проекте ODC сводит все процессы и устройства воедино, но главное, модуль занимается обработкой видео на ядрах CUDA (такие есть на всех современных видеокартах Nvidia).

Я потрясен инженерной мыслью, которая создала этот модуль. Устройство энергоэффективно и очень производительно, но его цена пока будет незаметна скорее внутри беспилотного автомобиля, чем DIY-проекта городского исследователя, а исследователи по всему миру опираются на более простые решения: Raspberry PI и производные, семейство плат Arduino, Lattepanda.

Но справедливости ради, такие устройства постоянно дешевеют и с каждым поколением становятся мощнее, а алгоритмы распознавания изображений становятся всё менее затратными с точки зрения вычислений. Потому мы точно увидим некий будущий проект ODC v2.0.

С камерой тоже не все так просто. Конечно, можно использовать даже простую веб-камеру для съемки, но будет сильное ограничение в качестве и угле обзора, что приведет к необходимости делать сборку (риг) из нескольких камер.

В последнем приуспела российская компания Neq4, которая делает панорамы для Яндекс.Панорамы, но оправдано ли вешать 3-8 зеркальных фотокамер для таких целей, чтобы потом неделю сводить изображения, а стоимость сборки при том вылетает в космос?

Не легче ли использовать панорамные экшн-камеры, стоимость которых сейчас низка, а аппаратное сведение и качество снимков в 8к+ позволяют получить итоговый результат в режиме реального времени и професиональном качестве? Японская компания Ricoh или китайская Xiaomi уже давно предлагают такие решения, не говоря о множестве новых брендов типа Insta360.

Распределенные вычисления — очень важная тема. Например, компания PLAYKEY (между прочим, из Перми), успешно её раскрывает, предлагая интереснейшее решение использования распределенной сети видеокарт пользователей другими пользователями, у которых нет видеокарт или слабый компьютер (просто к слову о том, куда технологии двинулись).

И уже не говоря о том, что можно легко и недорого арендовать свой GPU-сервер, на котором и производить тяжелый обсчет нейросети.

Подобные варианты позволяют исключить дорогое обордование из зоны опасности и не потратить лишнего.

Хотя стоит отметить, что с самого начала мы сами использовали полностью автономный вариант системы, но не могли его заметно тиражировать из-за дороговизны (как и у сборки ODC).

Здесь, на самом деле, возможны большие вариации способа организации технической системы в зависимости от технологий и целей, и стоило бы это обсуждать отдельно и предметно.

Ещё одним важным аспектом являются модели распознавания объектов, которые доступны в YOLO. Дело в том, что все они расчитаны на ракурс, не слишком отличающийся от уровня зрения человека на земле. ±15° и всё. Это связано со спецификой открытых датасетов для обучения нейросетей — Pascal VOC, COCO, ImageNet.

Но что, если рельеф неудобный; городская среда такова, что подобраться к трафику сложно? Если съемку для подсчета потоков захотим вести с дрона? Не везде можно очень удобно встать на горку, как в видео Moovel Lab.

Для этого нужно обучать нейросеть самостоятельно. Это совсем отдельная тема.

В нашем случае, полевую часть оборудования мы сделали максимально недорогой, а обработку YOLO перенесли на удаленный сервер, который возвращает результаты в смартфон исследователя или удаленного оператора.

Это позволило за минимальные деньги создавать комплекты оборудования и не теряя качества, сфокусироваться на количестве, а результат работы в режиме реального времени публиковать в вэбе, агрегируя результаты из скольки угодно комплектов оборудования сбора данных.

Массовость таких устройств сбора данных сейчас является ключевой, на мой взгляд. 

«Массовость» тут значит упрощение и удешевление полевых компонентов, использование удаленных вычислительных мощностей, повышение технологического уровня в целом, как для hardware, так и для software.

Кроме как на формировании методологии и индексов, именно на «массовости» мы делаем основной упор в проекте ГРАДОГРАФ, отмеченном компанией Яндекс и Минстроем России на Третьем всероссийском конкурсе открытых данных, апрель 2018.

http://www.opendatacontest.ru/projects/gradograf/