Анализ материалов семинара «Грамотность в области искусственного интеллекта» Пентагона

17 октября 2023 года в Лос-Анджелесе прошёл организованный Космическими силами США учебный семинар «Грамотность в области искусственного интеллекта», на котором было продемонстрировано множество презентаций и отработано учебных сценариев компаниями, занимающимися машинным обучением - Microsoft, OpenAI и других.

Через несколько месяцев на сайте некоммерческой консалтинговой компании Alethia Labs была найдена презентация компании Microsoft по применению Text2Image нейросети DALL-E, построенной на языковой модели GPT-3, в военных целях.

В презентации не приводятся подробности как именно системы управления боем могли бы использовать DALL-E. Однако слова об обучении предполагают, что нейросеть может использоваться для предоставления Пентагону так называемых синтетических учебных данных: искусственно созданных сцен, которые очень напоминают реальные изображения. Например, ПО обнаружения целей на земле может быть показано огромное количество поддельных аэрофотоснимков взлётно-посадочных полос или колонн военной техники, созданных DALL-E, для лучшего распознавания подобных целей в реальном мире. Но эффективность такого подхода остаётся спорной.

«Известно, что точность модели и способность точно обрабатывать данные ухудшаются каждый раз, когда она проходит дальнейшее обучение на контенте, созданном искусственным интеллектом. Изображения DALL-E далеки от точности и не позволяют создавать изображения, даже близко отражающие нашу физическую реальность, даже при точной настройке. Эти генеративные модели изображений не могут даже точно сгенерировать правильное количество конечностей или пальцев, как мы можем полагаться на их точность в отношении реального присутствия на поле боя?» - поясняет Хайди Хлааф, инженер по безопасности машинного обучения, заключившая контракт с OpenAI.

Представители Microsoft и OpenAI отрицают возможное использование DALL-E в военных целях. Так, Microsoft заявляет, что хотя она предлагала Пентагону использовать DALL-E для обучения систем управления боем, но не начала этого делать.

«Это пример потенциальных вариантов использования, о которых стало известно из бесед с клиентами об искусстве возможного с генеративным ИИ», - прокомментировала компания.

Интересно, что Microsoft, не объяснила, почему «потенциальный» вариант использования был обозначен как «распространенный» в её презентации.

Представитель OpenAI Лиз Бурджус заявила, что OpenAI не участвовала в презентации Microsoft и не продавала никаких инструментов Министерству обороны. Стоит отметить, что в январе OpenAI незаметно удалила формулировку, прямо запрещающую использование её технологий в военных целях, из своей политики использования.

С 5 по 7 марта 2024 года в Тампе, штат Флорида, компания NexTech Solutions провела тренинг для Командования специальных операций. Информация о данном мероприятии и ещё восьми подобных была опубликована компанией Alethia Labs, которая является подрядчиком Минобороны в программе приобретения технологий «Tradewinds», проводимой Главным управлением цифрового и искусственного интеллекта Пентагона. Сама компания NexTech Solutions известна перепродажей ПО для распознавания лиц Clearview AI Командованию спецопераций и Управлению генерального инспектора Национального научного фонда.

На мероприятии в Тампе Alethia Labs опубликовала список рекомендованных инструментов искусственного интеллекта, включающий в себя инструменты кибербезопасности, геопространственной аналитики, анализа изображений, систем управления и датчиков дронов, распознавания биометрических данных, обучения беспилотных автомобилей и обнаружения угроз.

Организаторы семинара предложили 12 командам участникам «представить сценарий, при котором проект с использованием искусственного интеллекта повёл себя на так, как было запланировано, и печальный итог попал в заголовки СМИ». Двумя наиболее распространёнными сценариями стали утечка данных и ошибки в применении вооружения с искусственным интеллектом. Одной из команд попался сценарий, при котором в ходе работы над техническим заданием выявилось использование сторонней китайской программы ИИ, передававшая данные Китаю. В результате чего, по условиям сценариям, военнослужащий был отправлен в тюрьму, а отношения с компанией-поставщиком были разорваны.

Несмотря на изучение подобных сценариев, в опубликованном выше списке рекомендованных программ присутствует программа Face++, разрабатываемая китайской компанией Megvii, находящейся под санкциями США. Офис компании расположен в Пекине.

Мероприятие с демонстративным использованием Face++ для Командования специальных операций проводилось с 31 июля по 3 августа 2023 года, на котором присутствовали военнослужащие спецподразделения CAG, 75-го полка рейнджеров, «зелёные береты» из 3rd SFG и специалисты по сбору данных из Task Force Orange.

Среди опубликованных материалов присутствуют несколько слайдов от специализирующейся на естественном языке компании Primer Technologies с презентацией платформы Delta, предназначенной для автоматической генерации отчётов по анализу информации из открытых источников (OSINT, HUMINT и SIGINT). Компания Primer Technologies, в руководство которой входит бывший командующий Командования специальных операций Томас Тони и бывший глава Директората науки и технологий ЦРУ Дон Мейеррикс, получает инвестиции от венчурной компанией In-Q-Tel, контролируемой разведсообществом США.

Среди материалов мелькает презентация от компании ScaleAI, в которой утверждается, что компания еженедельно производит 35 тысяч аннотаций к электронно-оптическим изображениям (EO), 20 тысяч для радаров с синтезированной апертурой (SAR) и тысячи для полноэкранного видео (FMV) с точностью свыше 95%.

На одном из слайдов заявляется, что компания способна оснащать искусственным интеллектом дроны-камикадзе и барражирующие боеприпасы.

Слайд с описанием проблем в анализе информации в некоторых отраслях военной сферы и предложенными компанией решениями, например в поддержке отслеживания глубины резкости для изображений российских систем ПВО и объектов РВСН.

Следующим докладчиком на одном из мероприятий стала компания Accrete с презентацией проекта Argus, описанной как система обнаружения угроз, сканирующая информацию из открытых источников. Консультантом платформы был объявлен бывший командующий JSOC Стэнли Маккристал, а в представленном на сайте описании личности главы отдела продаж компании Билла Уолла, указано, что он являлся создателем и командиром уникальной организации по эксплуатации компьютерных сетей в JSOC. Agrus представляет собой постоянно расширяющийся «график знаний» - грубый аналог ассоциаций между людьми и организациями. Тем не менее, у компании заключен контракт с Командованием спецопераций и Управлением военной разведки на автоматическое создание «графиков знаний» путём сканирования новостных статей, корпоративных реестров и баз закупок.

В качестве примера работы платформы был представлен слайд с определением гипотетического влияния китайских компаний на цепочки поставок для Hytera Comminications Corporation.