Начинается эпоха роботов-убийц на основе ИИ

В поле на окраине Киева основатели украинской компании "Вырий", специализирующейся на производстве беспилотников, недавно работали над созданием оружия будущего.

Чтобы продемонстрировать его, 25-летний Алексей Бабенко, генеральный директор компании "Вырий", сел на мотоцикл и поехал по грунтовой дорожке. За ним следовал беспилотник, а его коллега отслеживал перемещения с помощью компьютера размером с портфель.

До недавнего времени управлять квадрокоптером должен был человек. Теперь все по-другому. После того как дрон засек цель - Бабенко на мотоцикле, он полетел сам, управляемый программным обеспечением, которое использовало камеру аппарата для его отслеживания.

Рычащий двигатель мотоцикла не оставлял никакой возможности заметить бесшумный дрон, преследовавший Бабенко. "Жми, жми сильнее. Жми на педаль", - кричали его коллеги по рации, когда дрон пронесся над ним. "Тебе конец, конец!"

Если бы дрон был вооружен взрывчаткой и если бы его коллеги не отключили автономное управление, Бабенко был бы убит.

Компания "Вырий" - одна из многих украинских компаний, стремящихся совершить значительный скачок в развитии вооружения потребительских технологий под влиянием войны с Россией. Стремление перехитрить врага, а также огромные потоки инвестиций, пожертвований и государственных контрактов превратили Украину в Силиконовую долину для автономных беспилотников и другого оружия.

Компании создают технологию, которая делает человеческие суждения о прицеливании и стрельбе все более и более незначительными. Широкое распространение готовых устройств, легко разрабатываемого программного обеспечения, мощных алгоритмов автоматизации и специализированных микрочипов искусственного интеллекта привело к тому, что смертельно опасная гонка инноваций вышла на неизведанную территорию, породив потенциально новую эру роботов-убийц.

Самые передовые версии технологии, позволяющей беспилотникам и другим машинам действовать автономно, стали возможны благодаря глубокому обучению - разновидности ИИ, которая использует большие объемы данных для выявления закономерностей и принятия решений. Глубокое обучение помогло создать популярные большие языковые модели, такие как GPT-4 от OpenAI, но оно также помогает моделям интерпретировать и реагировать в реальном времени на видео и видеозаписи с камер. Это означает, что программное обеспечение, которое когда-то помогало беспилотнику следить за сноубордистом, спускающимся с горы, теперь может стать смертельно опасным инструментом.

В более чем дюжине интервью с украинскими предпринимателями, инженерами и военными подразделениями сложилась картина ближайшего будущего, когда рои беспилотников с самонаведением смогут координировать атаки, а пулеметы с компьютерным зрением - автоматически сбивать солдат. Разрабатываются и более причудливые конструкции, такие как парящий беспилотный коптер, вооруженный пулеметами.

Это оружие более грубое, чем те, что используются в научно-фантастических блокбастерах, таких как "Терминатор" и его жидкометаллический убийца Т-1000, но это уже шаг к такому будущему. Хотя это оружие не столь продвинуто, как дорогостоящие системы военного класса, производимые Соединенными Штатами, Китаем и Россией, значимость этих разработок заключается в их низкой стоимости (всего тысячи долларов или даже меньше) и доступности.

За исключением боеприпасов, многие из этих вооружений создаются с помощью кода, найденного в Интернете, и таких компонентов, как компьютеры для любителей, например Raspberry Pi, которые можно купить в Best Buy или в магазине бытовой техники. Некоторые американские чиновники заявили, что обеспокоены тем, что эти возможности вскоре могут быть использованы для проведения террористических атак.

Для Украины эти технологии могут стать преимуществом перед Россией, которая также разрабатывает автономные гаджеты-убийцы, или просто помочь ей не отставать. Эти системы повышают ставки в международных дебатах об этических и правовых последствиях применения ИИ на поле боя. Правозащитные группы и представители Организации Объединенных Наций хотят ограничить использование автономного оружия, опасаясь, что оно может спровоцировать новую глобальную гонку вооружений, которая может выйти из-под контроля.

В Украине такие опасения второстепенны по сравнению с борьбой с захватчиками.

"Нам нужна максимальная автоматизация", - говорит Михаил Федоров, министр цифровых преобразований Украины, который возглавляет усилия страны по использованию технологических стартапов для расширения передовых боевых возможностей. "Эти технологии являются основополагающими для нашей победы".

Автономные беспилотники, подобные тем, что разрабатывает компания "Вырий", уже использовались в бою для поражения российских целей, по словам украинских чиновников и по видео, проверенному The New York Times. Федоров сказал, что правительство работает над финансированием компаний, производящих беспилотники, чтобы помочь им быстро нарастить производство.

Возникают серьезные вопросы о том, какой уровень автоматизации допустим. Пока беспилотники требуют, чтобы пилот зафиксировал цель, оставляя "человека в этой цепочке" - фраза, на которую часто ссылаются политики и специалисты по этике ИИ. Украинские солдаты выражают обеспокоенность тем, что неисправные автономные беспилотники могут поразить их собственные силы. В будущем ограничений на использование такого оружия может не существовать.

Украина "наглядно показала, почему автономное оружие имеет преимущества", - говорит Стюарт Рассел, ученый в области ИИ и профессор Калифорнийского университета в Беркли, который предупреждал об опасности использования ИИ в качестве оружия: "Появится оружие массового уничтожения, которое будет дешевым, масштабируемым и легко доступным на рынках оружия по всему миру".

Силиконовая долина по созданию беспилотников

В ветхой мастерской в жилом доме на востоке Украины Дэв, 28-летний солдат 92-й штурмовой бригады, помогает внедрять инновации, превращающие дешевые беспилотники в оружие. Сначала он прикрепил к гоночным квадрокоптерам бомбы, затем добавил более емкие батареи, чтобы они могли летать дальше, а недавно внедрил систему ночного видения, чтобы аппараты могли охотиться в темноте.

В мае он одним из первых начал использовать автономные беспилотники, в том числе от компании "Вырий". По словам Дэва, хотя некоторые из них требуют доработки, он верит, что они станут следующим большим технологическим скачком на передовой.

Автономные беспилотники "уже пользуются большим спросом", сказал он. Эти аппараты особенно полезны в борьбе с помехами, которые могут нарушить связь между дроном и пилотом. Если беспилотник управляется самостоятельно, пилот может просто засечь цель и позволить аппарату сделать все остальное.

По всей Украине появились временные заводы и лаборатории по созданию дистанционно управляемых машин всех размеров, от самолетов дальнего действия и штурмовых катеров до дешевых беспилотников-камикадзе - сокращенно F.P.V., то есть "вид от первого лица" (first-person view), потому что ими управляет пилот в очках виртуальной реальности, открывающих вид с борта дрона. Многие из них являются предшественниками машин, которые со временем будут действовать автономно.

По словам Федорова, попытки автоматизировать полеты беспилотников начались в прошлом году, но были замедлены из-за проблем с созданием программного обеспечения для управления полетами, однако эти проблемы были решены. Следующим шагом должно стать масштабирование технологии за счет увеличения государственных расходов, сказал он, добавив, что около 10 компаний уже производят автономные беспилотники.

"У нас уже есть системы, которые можно производить серийно, и сейчас они активно тестируются на передовой, то есть уже активно используются", - говорит Федоров.

Некоторые компании, такие как "Вырий", используют базовые алгоритмы компьютерного зрения, которые анализируют и интерпретируют изображения и помогают компьютеру принимать решения. Другие компании используют более сложные алгоритмы глубокого обучения для создания программного обеспечения, которое может идентифицировать и атаковать цели. Многие из компаний заявили, что черпают данные и видео из летных тренажеров и полетов беспилотников на фронте.

Один из украинских производителей беспилотников, компания Saker, создал автономную систему прицеливания с использованием процессов ИИ, изначально предназначенных для сортировки и классификации фруктов. Зимой компания начала отправлять свои технологии на передовую, тестируя различные системы с пилотами беспилотников. Спрос резко возрос.

К маю компания Saker начала массовое производство одноплатных компьютеров с программным обеспечением, которые можно было легко прикрепить к беспилотникам F.P.V., чтобы машины могли автоматически наводиться на цель, сказал генеральный директор компании, который попросил называть его только по имени Виктор, опасаясь ответных мер со стороны России.

Затем беспилотник врезается в цель, "и все", - сказал он. "Он устойчив к ветру. Он не поддается помехам. Нужно только точно определить, в какую цель вы собираетесь попасть".

Сейчас компания Saker производит 1000 печатных плат в месяц, а к концу лета планирует увеличить их количество до 9000 штук в месяц. 

В одном из роликов, посвященных технологии Saker, размещенных в социальных сетях, беспилотник пролетает над полем, испещренным следами обстрелов. В центре видоискателя пилота внезапно появляется окошко, в котором изображен танк, что свидетельствует о его обнаружении. Дрон атакует сам, взорвавшись в бок брони.

По словам Виктора, в последние недели Saker пошла дальше, успешно используя разведывательный беспилотник, который с помощью ИИ идентифицировал цели, а затем отправлял автономные дроны-камикадзе на поражение. В одном случае система поразила цель на расстоянии 25 миль.

"Когда мы дойдем до того, что у нас будет недостаточно людей, единственное решение - заменить их роботами", - сказал Ростислав, соучредитель Saker, который также попросил называть его только по имени.

Миниатюрная война

Жарким днем в прошлом месяце в восточном регионе Украины, известном как Донбасс, Юрий Клонцак, 23-летний резервист, обучал четырех солдат пользоваться новейшим футуристическим оружием: орудийной башней с автономным наведением, работающей с контроллером PlayStation и планшетом.

Выступая на фоне грохота близкого обстрела, он объяснил, как орудие, названное Wolly из-за сходства с пиксаровским роботом WALL-E, может автоматически наводиться на цель на расстоянии до 1000 метров и переходить с одной запрограммированной позиции на другую, чтобы быстро охватить большую территорию. Компания DevDroid, создавшая это оружие, также разрабатывает автоприцел для отслеживания и поражения движущихся целей.

"Когда я впервые увидел это оружие, я был очарован", - говорит Клонцак. "Я понял, что это единственный способ если не выиграть войну, то хотя бы удержать позиции".

Эта пушка - одна из нескольких, появившихся на передовой, в которых используется программное обеспечение на основе ИИ для автоматического отслеживания и стрельбы по целям. Непохожее на идентификацию объектов в камерах наблюдения, программное обеспечение на экране окружает людей и другие потенциальные цели цифровой рамкой. Все, что остается стрелку, - дистанционно нажать на курок с помощью контроллера видеоигры.

Пока что производители оружия говорят, что не допускают, чтобы пулемет мог стрелять без нажатия человеком кнопки. Но они также заявили, что создать такой пулемет не составит труда.

Многие украинские инновации разрабатываются для того, чтобы противостоять российскому оружию. Украинские солдаты, управляющие пулеметами, являются главной мишенью для российских беспилотников. С роботизированным оружием ни один человек не погибнет при попадании в пулемет. Новые алгоритмы, которые пока находятся на стадии разработки, в конечном итоге могут помочь пулеметам сбивать беспилотники.

Подобные технологии, а также возможность быстро создавать и испытывать их на передовой, привлекают внимание и инвестиции из-за рубежа. В прошлом году Эрик Шмидт, бывший глава Google, и другие инвесторы создали фирму D3 для вложения средств в новые технологии ведения боевых действий на Украине. Другие оборонные компании, такие как Helsing, также объединяются с украинскими фирмами.

По словам Эвелины Бучацки, управляющего партнера D3, украинские компании развиваются быстрее, чем их конкуренты за рубежом.

"Здесь просто другие стимулы", - комментирует она.

Зачастую требования поля боя объединяют инженеров и солдат. Александр Ябчанка, командир "Волков Да Винчи", батальона, известного своими инновационными разработками в области вооружения, вспоминает, как необходимость защищать "дорогу жизни" - маршрут, по которому снабжались войска, сражавшиеся с русскими вдоль линии восточного фронта в Бахмуте, - подтолкнула его к изобретениям. Представляя себе решение проблемы, он разместил в Facebook открытый запрос на создание компьютеризированного пулемета с дистанционным управлением.

Через несколько месяцев Ябчанка получил рабочий прототип от фирмы Roboneers. Пулемет почти сразу же пригодился его подразделению.

"Мы могли сидеть в окопе, пить кофе, курить сигареты и стрелять", - говорит он.

Впоследствии вклад Ябчанки помог Roboneers разработать новый вид оружия. Компания установила пулеметную башенку на подвижный наземный беспилотник, чтобы помочь войскам совершать наступления или быстро менять позиции. По словам генерального директора Roboneers Антона Скрипника, такое применение привело к росту потребности в автоприцеливании с помощью ИИ.

Подобные партнерства способствовали и другим достижениям. В мае на полигоне для беспилотников Swarmer, еще одна местная компания, провела видеосвязь с военным подразделением, чтобы ознакомить солдат с обновлениями своего программного обеспечения, которое позволяет дронам совершать роевые атаки без пилота.

Программное обеспечение компании Swarmer, созданной в прошлом году бывшим инженером Amazon Сергеем Куприенко, построено на основе модели ИИ, обученной на большом количестве данных о полетах беспилотников на передовой. С ее помощью один техник может управлять семью беспилотниками во время бомбардировок и разведывательных миссий.

Недавно Swarmer добавила возможности, позволяющие направлять ударные беспилотники-камикадзе на расстояние до 35 миль. Предполагается, что программное обеспечение, тестируемое с января, позволит сократить количество людей, необходимых для управления миниатюрными воздушными силами, которые доминируют на передовой.

Во время демонстрации инженер Swarmer за компьютером смотрел на карту, пока шесть автономных беспилотников проносились над головой. Один за другим большие беспилотники-бомбардировщики пролетели над потенциальной целью и сбросили бутылки с водой вместо бомб.

Некоторые пилоты беспилотников боятся, что технология полностью заменит их, говорит Куприенко.

"Они говорят: "О, он летает без нас. Они заберут у нас пульты и дадут нам в руки оружие", - сказал он, имея в виду мнение, что управлять беспилотником безопаснее, чем сидеть в окопе на фронте. Но я говорю: "Нет, теперь вы сможете управлять пятью или десятью беспилотниками одновременно", - сказал он. 

"Программное обеспечение поможет им сражаться лучше".

Роботы-убийцы становятся все популярнее

В 2017 году мистер Рассел, исследователь ИИ из Беркли, выпустил онлайн-фильм "Slaughterbots" (Роботы-убийцы), предупреждающий об опасности автономного оружия. В фильме бродячие стаи недорогих вооруженных ИИ дронов используют технологию распознавания лиц, чтобы выслеживать и убивать жертв.

То, что происходит на Украине, приближает нас к этому антиутопическому будущему, считает Рассел. По его словам, он уже насмотрелся украинских видеороликов с солдатами, которых преследуют вооруженные беспилотники, пилотируемые людьми. Часто наступает момент, когда солдаты прекращают попытки убежать или спрятаться, потому что понимают, что не могут оторваться от беспилотника.

"Им некуда бежать, поэтому они просто ждут смерти", - говорит Рассел.

Он не одинок в своих опасениях, что конфликт на Украине стал переломным моментом. В Вене члены группы экспертов ООН также заявили, что обеспокоены последствиями новых технологий, разрабатываемых в ходе операций на Украине.

Официальные лица потратили более десяти лет на обсуждение правил использования автономного оружия, но мало кто ожидает, что международное соглашение установит новые правила, особенно в условиях, когда США, Китай, Израиль, Россия и другие страны стремятся разработать еще более совершенное оружие. В рамках одной из объявленных в августе американских программ, известной как инициатива "Репликатор", Пентагон заявил, что планирует массово производить тысячи автономных беспилотников.

"Геополитика делает это невозможным", - говорит Александр Кментт, главный переговорщик от Австрии по автономному оружию в ООН. "Это оружие будет использоваться, и оно будет в военном арсенале практически всех".

Никто не ожидает, что страны согласятся на полный запрет такого оружия, сказал он, "но оно должно регулироваться таким образом, чтобы в итоге мы не получили абсолютно кошмарный сценарий".

Группы, включая Международный комитет Красного Креста, выступают за принятие юридически обязательных правил, запрещающих некоторые виды автономного оружия, ограничивающих использование других и требующих определенного уровня контроля со стороны человека за принятием решений о применении силы.