Использование Microsoft Video Indexer для OSINT

Работаете над кейсом со множеством видео? Разве не было бы здорово вместо того, чтобы просматривать каждое, просто скачать их все, автоматически транскрибировать и проиндексировать?

Представьте, что вы расследуете резонансное событие, на тему которого есть несколько десятков видео. Чтобы просмотреть каждое видео, придется убить много времени, которого у вас, возможно, не так уж и много. Было бы замечательно загрузить все эти ролики в единую базу данных, проиндексировать их по разговорному контенту, темам и даже людям, которые в нем фигурируют. А потом просто отсеять ненужные фрагменты и перейти к сути.

Эта и многие другие функции являются частью набора инструментов, предлагаемого Microsoft Video Indexer. Microsoft позволяет регистрировать пробные учетные записи на этой платформе с разных почтовых сервисов, в том числе через Gmail. Позвольте мне рассказать о некоторых аспектах этой платформы, которые могут быть полезны во время проведения исследований.

Вернемся в август 2019 года. Проходит саммит G7 во Франции, и нам интересно собрать максимум информации по этой теме. Этот саммит горячо обсуждают во всех социальных сетях и широко освещают в прессе. В качестве источника видео мы будем использовать Youtube. А чтобы скачивать оттуда видео, будем использоваться сервис Y2Mate. Заходить на него и указывать ссылку вручную необязательно, достаточно добавить «pp» к исходному URL-адресу Youtube, как показано на скриншоте ниже, и нажать "Enter" - это перенаправит вас на сайт.

Не стоит забывать, что мы не ограничены одним Youtube. Загружать на Video Indexer видео можно и просто с компьютера - единственное, что нужно знать - язык видео. По умолчанию это английский. Если вы работаете с видео на другом языке, я бы посоветовал установить другой язык видео вручную. Ещё я столкнулся с проблемой загрузки длинных видео. Если у вас возникнут аналогичные проблемы, попробуйте разделить видео на части.

После того, как мы загрузили видео и оно проиндексировалось платформой, происходит волшебство. Вот пара функций Video Indexer'а:

• Распознавание лиц
• Полная транскрипция аудио (с переводом)
• Определение темы
• Обнаружение места действия
• Определение эмоций

Давайте посмотрим на одно из загруженных мною видео:

Панель справа имеет две вкладки: инсайды и таймлайн. В разделе инсайдов вы сможете посмотреть список людей, которые были идентифицированы в видео по лицам. Как вы заметили, выбранный парень по имени Стефан де Врис был успешно опознан, и на таймлайне ниже можно увидеть моменты, в которых он появляется на видео (выделены черным цветом). Результаты основаны на поиске в Bing. Если человек не распознается и не индексируется автоматически, вы можете назвать его вручную.

Unknown #12 на самом деле Ангела Меркель. Нажав на кнопку редактирования в правом верхнем углу, мы можем указать имя. Если двух (или более) людей назвать одинаково, они будут автоматически объединены в одного человека. Две категории ниже индексируют общие темы, обсуждаемые в видео, а также именуют сцены в соответствии с окружением. Нажав на заголовок, вы перейдете к той части видео, где обсуждается указанная тема. Видео, кстати, идет потоком слева. Имейте ввиду, что сервис работает не идеально. К примеру, сцена, где Дональд Трамп начинает говорить, была помечена как туалетные помои (хотя некоторые люди считают его просто придурком).

Затем, немного ниже, находится шкала с общим настроением, царящим в видео фрагменте. Я предполагаю, что данная оценка основана на используемых в видео словах. Такие слова, как «хорошо», «отлично» и «круто», скорее всего, приведут к позитивному рейтингу. Помните, что они не всегда используются в правильном контексте говорящими, поэтому я обычно игнорирую эту функцию.

Большая часть данных, отображаемых на вкладке "Инсайды", основана на транскрипции разговоров, отображаемых на следующей вкладке - таймлайн. Работает эта функция неплохо, но некоторые данные все же придется редактировать вручную. Например, я отредактировал транскрипцию речи одного из спикеров: вместо «мой Chrome» докладчик сказал «Macron».

Смотрите видео на иностранном языке? Рекомендую нажать на кнопку перевода (земной шар) и выбрать язык, на котором будет отображена транскрипция.

Итак, мы загрузили два видео, немного отредактировали некорректные данные и теперь имеем полностью проиндексированную базу данных для выполнения запросов. Вернувшись на главную страницу своего профиля, мы сможем искать по всей проиндексированной информации: по тексту, по ключевым словам, по людям и прочему.

Поиск по ключевому слову «Trump» отобразит результаты поиска и распределит их по категориям. Как вы можете заметить, по небольшому слову сервис нашел его самого, все его упоминания в речи, и даже бегущий текст. Бегущий текст? Это один момент, который я почти забыл. Video Indexer также распознает наложенный в видеозаписях текст.

Это был только краткий обзор возможностей Microsoft Video Indexer. Я думаю, что он может пригодиться в некоторых OSINT-кейсах. И если вы хотите раскрыть потенциал сервиса на всю, рекомендую перейти на платную подписку.

Я даже подумывал о загрузке видео со всех интересующих меня конференций, чтобы создать большую базу данных и смотреть только наиболее увлекательные для меня темы, а не видеоролики целиком 😊

Статья доступна в оригинале на английском языке - читать.

Cybred - канал об информационной безопасности и конкурентной разведке, вдохновленный идеями олдскульных андеграундных интернет-сообществ о свободе распространения информации в сети и всеобщей взаимопомощи.