Интервью @Russian_OSINT c разработчиком проекта  «CounterCloud»: Боевая машина по дезинформации противника с помощью ИИ

CounterCloud - эксперимент ИБ-исследователей по развертыванию на серверах 🤖 AWS пилотной ИИ-экосистемы, способной автономно противодействовать потенциальному противнику и дезинформировать его аудиторию в сети интернет:

1️⃣ Генерация "разоблачительных материалов" и статей

2️⃣ Имитация живых журналистов с биографией и аватарами

3️⃣ Cоздание иллюзии реального общения под статьями в комментариях

4️⃣ Получение трафика из социальных сетей на сайт CounterCloud

5️⃣ Использование различных стилей написания статей

6️⃣ Атака на государственные аккаунты и контрпропаганда СМИ

7️⃣ Продвижение своих нарративов и изменение политических убеждений

❗️ Подробнее о CounterCloud ниже:

https://telegra.ph/Boevaya-sistema-s-iskusstvennym-intellektom-po-dezinformacii-protivnika-08-26]

Интервью с разработчиком "CounterCloud", скрывающегося под никнеймом "Nea Paw"

Russian OSINT: Сколько реальных твитов вы опубликовали за 2 месяца вашего эксперимента, используя ИИ-экосистему "СounterCloud"?

Nea Paw: Посмотрите внимательно моё видео, мы не публиковали эти твиты в "реальном мире" [только лабораторные условия], иначе бы мы перешли черту. Мы лишь показали "как это могло быть" в реальном мире.

Russian OSINT: Если я правильно понимаю, боты в X/Twitter контролируются системой CounterCloud. Способна ли ИИ-система генерировать бесконечное количество комментариев/постов с помощью языковых моделей?

Nea Paw: Количество генерируемых вами твитов зависит от того, сколько вы можете заплатить денег. Вы платите за время работы искусственного интеллекта и за API Twitter. Время работы ИИ стоит очень дешево (проверьте сами на сайте OpenAI).

Что по итогу? Вы можете генерировать большое количество постов/комментариев довольно дешево. Больше заморочек вызывает сам Twitter, а не искусственный интеллект.

Russian OSINT:  Будет ли в будущем распространена практика, когда компании, государства и организации будут адаптировать языковые модели (open-source) под свои нужды и цели, стараясь избежать проблем с утечкой чувствительных данных? ИИ будет использоваться повсеместно. Применение может быть в маркетинге, политике, ИБ, медицине, образовании и так далее.

Nea Paw: Это очень хороший вопрос. Я думаю ИИ будет примерно как email. Вы самостоятельно создаете свой сервер, размещаете на нем свое решение для борьбы со спамом, делаете свой веб-клиент для электронной почты и обеспечиваете его безопасность.

Когда речь заходит о правительстве или крупной компании, то скорее всего, это будет распространено, так как есть понятия конфиденциальность, кастомизация и т.д. и т.п.,

Соответствующий навык в любом случае нужно будет развивать внутри компании. Но если вы частник, то вам проще использовать Gmail или что-то еще. Также будет работать и искусственный интеллект.

Я считаю, что барьер входа для "on-premise AI" постоянно снижается. Мы живем в эпоху, когда людям нужны интерфейсы - "нажал и забыл", даже для действительно сложных вещей.

Russian OSINT: Коммерчески ориентированные компании с уклоном в Big Data (пример Palantir) не видят причин для паузы в развитии ИИ, преследуя свои собственные интересы, например, создание ИИ-продуктов для военных. Известно, что ChatGPT и другие чат-боты имеют свойство "галлюционировать", а также выдумывать несуществующие факты. Возникает закономерный вопрос - если подобные ИИ-технологии без тщательного изучения будут применяться в военных целях, например, использование специальных чат-ботов для наведения на цели, то каковы будут реальные последствия и риски от действий ИИ на ваш взгляд?

Nea Paw: Я не думаю, что кто-то из военных вряд ли всерьез задумывается об использовании того же ChatGPT в военных целях.

Есть два варианта использования LLM's. Это примерно как с игрой в шахматы. Если вы задаете изначально четкие правила игры, тогда компьютер не может "галлюционировать". Галюцинации появляются в том случае, если речь заходит о "креативности" или размышлениях со стороны ИИ. Компьютеру для игры в шахматы против игрока не нужно "креативить", выдумывать что-то, у него есть четко заданные правила, алгоритмы и ограничения.

Вы можете подумать, что ИИ - это то, что мы видим при взаимодействии с ChatGPT. Однако, помните, что вы всего лишь взаимодействуете с моделью, которая хорошо владеет языком (и программированием)....моделью, которая создана для того, чтобы отвечать на вопросы в виде текста, потому что ей был скормлен огромнейший объем данных.

Предлагаю переформулировать вопрос по-другому - а как насчет кастомного ИИ для военных? - Возможно, LMM (Large Military Models). Вот тут интересно, нужно учитывать тонкий момент - на чем он обучается, насколько разнообразен набор его обучающих программ. Каков должен быть результат работы модели? У меня не хватает информации и знаний о частоте, точности или характере метрик в процессе сбора данных в военных операциях, чтобы ответить на ваш вопрос, но я на 100% уверен, что есть люди по обе стороны баррикад, кто над этим уже работает. Лично мне, всё это кажется очень даже интересным....

Russian OSINT: Содержание экосистемы стоило вам около 400 долларов в месяц. Не думаете ли вы, что такими ИИ-системами в скором времени вооружатся маркетологи в интересах своих клиентов, используя ИИ в качестве оружия для уничтожения конкурентов в интернете?

Nea Paw: Да, вне всякого сомнения. Когда вы ищете товары на Amazon, то вы сталкиваетесь с различным отзывами, которые выглядят слишком хорошо.... чтобы быть правдивыми. И это будет усиливаться, отзывы будут становиться более правдоподобными. Однажды, рекламные модели станут НАСТОЛЬКО хороши, что мы просто перестанем их объективно воспринимать, и снова вернемся к надежным источникам (мнение ЛОМов).

С появлением Web 2.0 в начале 2000-х годов мы перешли к пользовательскому контенту и рейтингам, основанным на общественном мнении. Сегодня, с появлением искусственного интеллекта, дело может дойти до того, что мы не сможем отличить пост человека от искусственного интеллекта в Интернете, и тогда общественное мнение относительно чего-либо будет определяться тем, кто управляет наиболее продвинутыми ИИ-ботами. В некотором смысле мы уже пришли к этому в социальных сетях - друзья, подписчики, лайки, бла-бла. Когда ИИ начнет генерировать и контент (а не только бинарные действия типа "нравится/следует/дружит"), мы, возможно, захотим снова вернуться к надежным источникам обратно - лидерам мнений.

Пример: Вы будете смотреть обзор продукта на сайте ABCD.com - человека, в котором точно уверены, что он неподкупный и которому доверяете, где он/она делает обзор на камеру. Только убедитесь, что ABCD - не бот 🙂.

Russian OSINT: Какие именно модели/ИИ-архитектуры использовались для создания и распространения контента в лаборатории CounterCloud?

Nea Paw: Мы использовали GPT-3.5 и GPT-4, также Vicuna и Wizard. Для работы моделей с открытым исходным кодом мы потратили очень много времени, изменяя их параметры. Это сложно и неприятно, но в итоге мы остановились на использовании некоторых готовых пресетов.

Russian OSINT: Экспериментировали ли вы с моделями GigaChat (Сбербанк) или YandexGPT?

Nea Paw: Нет.

Russian OSINT: В ближайшие годы насколько хорош будет ИИ в дезинформации? Какие риски вы можете обозначить?

Nea Paw: Приведу пример, когда мы имеем дело с искусственным интеллектом, который играет в шахматы...созидает или пишет стихи, то мы проходим через различные этапы восприятия:

1) Вау, он классно работает.

2) Да, но он никогда не сможет делать это лучше человека

3) Чего!? Я проиграл этот матч [шахматы]?! WTF????

4) Мы все обречены.

5) Подождите, мы не обречены, возможно, мы можем с этим жить.

Я думаю, с дезинформацией также. Первое, мы должны чётко осознавать, что в будущем ИИ будет ОЧЕНЬ хорош в дезинформации потенциального противника. Он будет ГОРАЗДО лучше справляться с задачами, чем живой человек и одновременно использовать все доступные способы для продвижения своих нарративов.

Речь идет о медиа, рекламе, аудио/фото/видео, генерируемых искусственным интеллектом, знаменитостях и т.д. Это не просто что-то одно, это будет комплексная работа. Контент и сообщения будут настолько хорошими и убедительными, что алгоритмы TikTok/Instagram* сразу смогут подхватывать их, отправляя вам зрителям для просмотра [видео/ролики]. А поскольку есть обратная связь с метриками, то ИИ будет сам себя на автопилоте корректировать, зная на какие "кнопки" нужно нажимать.

Люди также станут более «устойчивыми» к такого рода сообщениям от ИИ. Например, реклама... Если бы вы сказали кому-нибудь в 1940-х годах, что у вас будет устройство, которое способно круглосуточно показывать вам рекламу прямо перед вашим лицом (например, ваш телефон), то он бы сказал, что всё…это конец, человек больше не сможет принимать самостоятельные решения.

Но сегодня мы уже почти невосприимчивы к рекламе, мы не замечаем её, у нас иммунитет на нее. Могу сказать на своем примере, что я практически "слеп" по отношению к рекламе, которую мне сегодня показывают.

Отвечая на ваш вопрос - большой риск заключается в том, что одна группа людей будет обладать этими совершенными технологиями, а весь остальной мир - нет. Представьте себе, что через 10 лет у нас будет «совершенная машина дезинформации», но только (Италия, Германия, Россия, Корея, Япония... выбирайте любую страну) будет иметь такую ИИ-технологию. Я убежден, что нужно делиться знаниями с общественностью, поэтому решил рассказать о Countercloud.

Russian OSINT: Где проходит граница этических норм и что думаете о регулировании ИИ?

Nea Paw: Хмм. Я думаю, что регулирование ИИ не будет адекватно работать. Вероятно оно загонит различные разработки ИИ в подполье. Как я уже сказал в видеоролике - это опасно. ИИ должен быть у всех на виду, где мы можем видеть его, не в темноте - где мы не знаем, что конкретно он там делает.

Когда речь заходит о реальных военных действиях, то их можно отслеживать....их можно «увидеть и прочувствовать». Мы знаем, что химическое оружие запрещено и когда регламент нарушается, то появляются жертвы. Но не в случае с ИИ... когда речь заходит о дезинформации, проблема заключается в том, что он пытается стать человеком - чем лучше он скрывается и притворяется человеком, тем лучше он работает.

Вы можете увидеть и ощутить последствия информационной войны, однако вы точно не знаете - а кем в действительности она велась, человеком или искусственным интеллектом? Вот в чем вопрос. Если трудно определить, то как вы вообще можете адекватно обеспечить регулирование ИИ?

Russian OSINT: Согласны ли вы с Илоном Маском и другими учеными, что человечеству нужна пауза (6 месяцев) для выработки четкого плана действий в отношении развития ИИ-технологий?

Nea Paw: Если все играют по правилам, то да. Но, если в горящем самолете запаникует хоть один пассажир и побежит к выходу, то мы все погибнем.

Russian OSINT: Насколько сложно противодействовать дезинформации, генерируемой с помощью ИИ, подобно экосистеме CounterCloud?

Nea Paw: Прилагается много усилий для обнаружения созданного искусственным интеллектом контента (погуглите, увидите). Однако, как я уже говорил на видео, это новая гонка вооружений. Примерно, как с антивирусами. То есть, он работает вроде бы нормально, но всегда будет играть в догонялки с вирусами.

Я неоднозначно отношусь к предлагаемым решениям по регулированию ИИ. Не думаю, что существует реальная "серебряная пуля", точно так же, как и не существует "серебряной пули" для фишинговых атак, спама или социальной инженерии. Нам нужно, по крайней мере, попытаться сделать несколько вещей:

1. Обозначение ИИ-контента в браузерах (Сhrome, FireFox, Safari) -> отображение, что информация сгенерирована ИИ.

2. Интернет-платформы должны уведомлять пользователей, что контент сгенерирован при помощи ИИ.

3. Провайдеры ИИ должны пытаться определить - является ли генерируемый контент зловредным? -> где и как он зарождается?

4. Регулирование ИИ (использование его во благо) - насколько мощным он может стать и кто получит право на его использовать? Идея по мне слабенькая.

5. Просвещение общественности по вопросам использования ИИ-технологий.

Russian OSINT: Могут ли ИИ-экосистемы применяться в позитивном ключе?

Nea Paw: Да. ИИ можно направлять на сайты, посвященные конспирологии, где он использует доказанные научные факты для развенчивания теорий заговора. Проще говоря, он создан для того, чтобы противостоять нарративам (и продвигать свои) - независимо от того, правдивы они или нет. Пример, Countercloud видит новую статью о том, что Земля плоская - тут же пишет контрстатью о том, что мир круглый.

Можно ли сделать то же самое в интернет-издевательств, токсичности и т.д.? Да, ИИ может атаковать плохих людей, когда они говорят вам плохие вещи, однако, это будет выглядеть, как начало "Черного зеркала", и мы все знаем, к чему это приведет...

Russian OSINT: Чем ИИ-дезинформация отличается от дезинформации, спланированной человеком?

Nea Paw: Всем. Если бы я использовал сегодня CounterCloud в целях дезинформации, то я бы привлек со стороны всего лишь одного человека для проверки статей и комментариев перед публикацией. Беглый просмотр, а не написание... ну возможно исправление (иногда удаление целых статей) - и это было бы моим единственным слабым местом. На написание всей статьи (с созданием журналиста, картинок, биографии, комментариев…) системе нужно всего 3 минуты. И это на одном потоке. Нет никаких ограничений на то, сколько ИИ может их написать - есть только ограничение того, сколько вы готовы и можете заплатить за ресурсы - стоимость API, стоимость хостинга, стоимость сети и т.д. Откровенно говоря все это очень дешево.

Russian OSINT: Какие шаги должны предпринять организации и правительства, чтобы бороться с распространением дезинформации от ИИ?

Nea Paw: Сложно сказать. Информированность – вот что нужно. Мы можем вернуться к тому, что будем опираться на живых людей, как я говорил уже ранее, которые являются проверенным источником информации с репутацией.

Искусственный интеллект в какой-то степени меняет ситуацию кардинально. С помощью ИИ любой может создать видеозапись беспорядков и сообщить, что это произошло на самом деле. Может даже вбросить в сеть 4 видео одного и того же события с разных ракурсов, например, опубликованные якобы 4 студентами под разными аккаунтами в Twitter.

Доверенные источники снова будут в тренде. А кто будет вашим надежным источником - решать, конечно же, вам :)

==========================

📲Подписаться @Russian_OSINT

t.me/russian_osint

❤️Поддержка канала

t.me/russian_osint_donate

👉 Связаться

t.me/russian_osint_bot