Palantir тайно тестировала технологии прогнозирования преступлений на жителях Нового Орлеана, ч. 2
t.me/newochem
Не обращая внимания на постоянное снижение количества убийств в Новом Орлеане, Palantir воспользовался связями с отделом полиции Нового Орлеана для заключения крупных контрактов с другими американскими городами. Позже компания получила прибыльные контракты на создание прогнозирующих программ от правительств других стран.
Согласно обнаруженным электронным письмам, в конце 2013 года сотрудники отдела продаж Palantir обратились в отделение полиции Чикаго с предложением купить прогнозирующее программное обеспечение, проверенное в Новом Орлеане, за три миллиона долларов. С помощью нескольких федеральных грантов, предоставленных отделению полиции Чикаго с 2009 года, полиция и научные сотрудники Иллинойского технологического института уже создали собственную программу по прогнозированию преступлений, которая способна просчитать уровень риска для человека, основываясь на уголовной статистике и на данных соцсетей.
19 августа 2014 года Кэти Лэйдлоу, руководитель отдела продаж Palantir, писала начальнику полиции Чикаго Джонатану Льюину: «Я бы хотела связаться с офицером Маккарти по поводу возможного сотрудничества с нашей компанией на основании подтвержденных успехов в сокращении убийств в Новом Орлеане».
Из писем также стало известно, что полиция Чикаго надеялась получить грант от Министерства внутренней безопасности на приобретение программного обеспечения Palantir. Однако ни тестирование, ни покупка программы так и не состоялись.
Начальник полиции Льюин, ответственный за их собственную прогнозирующую модель и участник переговоров с Кэти Лэйдлоу о покупке программы Palantir, в интервью заявил, что знал о сотрудничестве Palantir с органами правопорядка других городов, но никогда не одобрял ни тестирование программы, ни ее приобретение.
Компании не удалось продать свой продукт полиции Чикаго, зато она снискала известность среди зарубежных служб безопасности.
Для приобретения программного обеспечения Palantir Дании пришлось получить освобождение от регламента защиты данных Европейского Союза.
В 2016 году полиция и разведывательные службы Дании заключили с Palantir контракт на 7 лет. Объектом продажи стало прогнозирующее программное обеспечение для выявления потенциальных террористов. Датские газеты писали, что стоимость составила от 14 до 41 миллиона долларов.
Согласно закупочным документам, для прогнозирования вероятности совершения теракта программа использует данные органов правопорядка: автомобильные номера, видео с камер наблюдения и полицейские отчеты. Для приобретения программного обеспечения Palantir Дании пришлось получить освобождение от регламента защиты данных Европейского Союза.
До контракта с Данией в 2016 году в отчетах о работе Palantir Technologies с органами правопорядка никогда не упоминались программы для прогнозирования.
В 2017 году в либеральной израильской газете Haaretz появилось сообщение о том, что спецслужбы Израиля использовали системы анализа, которые прочесывали соцсети и другие источники данных для выявления вероятных преступников-одиночек из палестинских поселений на западном берегу реки Иордан.
Также было отмечено, что Palantir — одна из двух организаций, которая могла бы предоставить прогнозирующие интеллектуальные системы израильским спецслужбам. Проект Palantir в Новом Орлеане — это первый известный случай использования этой компанией данных из соцсетей.
«Я не удивлен, что за границей с помощью этой информации арестовывают людей», — высказался председатель совета Нового Орлеана Джейсон Уильямс, указывая на различия в судебных системах Израиля и США. «Использование технологий для того, чтобы обойти Конституцию — это последняя вещь, которую я бы хотел увидеть в своей стране».
Крупные города на всей территории США, такие как Нью-Йорк, сейчас рассматривают законопроекты, позволяющие контролировать алгоритмы, которые органы государственного управления используют при принятии решений.
Этой дискуссии еще только предстоит начаться в Новом Орлеане — городе, где большая часть политических речей посвящена все никак не снижающемуся уровню преступности. Однако секретность отношений Palantir и полиции Нового Орлеана вызывает тревогу у сторонних наблюдателей и множит вопросы о том, как используются алгоритмы компании.
Уильям Айзек, ученый из Университета штата Мичиган, анализировал прогнозирующие полицейские системы на предвзятость и заявил, что уже давно подозревал Palantir в создании такой программы. «Публично они высказывались только о том, как их технология справляется с противоречиями в данных и визуализируется».
После изучения документов проекта Palantir в Новом Орлеане, Айзек заметил, что программа невероятно похожа на систему со «списком риска» в Чикаго. В стратегическом исследовательском центре RAND также обнаружили, что эта система не оказала никакого влияния на количество серьезных преступлений, а в списке было на удивление много молодых афро- и латиноамериканцев, ранее имевших проблемы с законом.
«Если вы собираетесь что-то прогнозировать, необходимо иметь полное представление об этом. Если вы пытаетесь предупредить преступление, нужно иметь положительные и отрицательные примеры предсказания возможного правонарушения», — объясняет Айзек. У отделений полиции есть такая проблема — много данных о районах, где они работают, и мало о тех, где они не столь активны (обычно там преобладают состоятельные люди европейской расы).
«Те же недостатки, что в прогнозирующей системе Чикаго, а в условиях Нового Орлеана они лишь усугубятся», — продолжает Айзек.
Секретность, окружающая программу в полиции Нового Орлеана, также вызывает сомнение, получили ли обвиняемые доказательства, которые имели право видеть. Сара Сент-Винсент, исследовательница из Human Rights Watch (неправительственной организации, осуществляющей мониторинг, расследование и документирование нарушений прав человека), недавно опубликовала полуторагодовое расследование на тему сокрытия доказательств, полученных органами охраны правопорядка в ходе наблюдений за подозреваемым.
В своем интервью Сент-Винсент заявила, что сокрытие собранных данных (этим характеризуется, в частности, работа прогнозирующей программы в Новом Орлеане) серьезно подрывает систему сдержек и противовесов уголовного судопроизводства. В декабре 2017 года на конференции Института Катона по проблемам наблюдения, Сент-Винсент подняла вопрос о том, почему информация, собранная полицией при помощи прогнозирующих систем, не появляется в обвинительных актах или исках.
«Именно судья должен оценить, правомерны ли в этом случае действия властей», — считает Сент-Винсент. «Адвокаты защиты будут правы, если выскажут свои опасения об использовании данных, которые могут быть предвзяты или недостоверны».
Если бы о сотрудничестве Palantir и полиции Нового Орлеана было известно, то вопросы законности, прозрачности и правомерности можно было бы обсудить на каком-нибудь форуме, причем в обсуждении приняли бы участие юристы, сотрудники правоохранительных органов, представители компании и общественность. Но за шесть лет этого так и не произошло.
Оригинал: The Verge.
Автор: Али Винстон.
Иллюстрации: Гаррет Бирд и Алекс Кастро.
Переводили: Влада Ольшанская, Мария Елистратова, Анна Василенко.
Редактировали: Сергей Разумов и Илья Силаев.
Другие переводы зарубежных СМИ от Newoчём: ВКонтакте, Telegram.