Акт Нью-Йорка об аудите предвзятости: применение автоматизированных инструментов принятия решений в сфере трудоустройства

Введение: на кого распространяется и в каких случаях применяется акт

На муниципальном уровне в Нью-Йорке ранее был принят так называемый Акт об аудите предвзятости, который вступил в силу 5 июля 2023 года. Он распространяется на субъектов, находящихся на территории города. Положения акта действуют в отношении работодателей и кадровых агентств, которые используют автоматизированный инструмент принятия решений в сфере трудоустройства:

а) для оценки кандидатов при приеме на работу;

б) для оценки сотрудников в контексте их возможного повышения.

При этом, согласно акту, под автоматизированным инструментом принятия решений в сфере трудоустройства (АИПР) понимается любой вычислительный процесс, основанный на машинном обучении, статистическом моделировании, анализе данных или искусственном интеллекте, упрощенным результатом которого является оценка, классификация или рекомендация, используемые для существенной помощи или в качестве замены дискреционного принятия решения по соответствующим вопросам в отношении физических лиц. В то же время данный термин не включает в себя инструменты, несущественно влияющие на принятие решений и не затрагивающие интересы физических лиц (спам-фильтр, файервол, антивирусное ПО, калькулятор, электронная таблица, база данных, набор данных или другой способ компиляции данных).

В соответствии с Инструкцией по применению положений акта (Инструкция), которую подготовил Департамент по защите прав потребителей и работников Нью-Йорка (компетентный государственный орган), словосочетания “для существенной помощи или замены дискреционного принятия решения” означают:

а) полагаться исключительно на упрощенный результат (балл, метка, классификация, ранжирование и т.д.) – без учета других факторов; или

б) использование упрощенного результата как одного из набора критериев, где упрощенный результат имеет больший вес, чем любой другой критерий в наборе; или

в) использование упрощенного результата для отмены выводов, полученных на основе других факторов, включая принятие решений человеком.

Упрощенный результат может иметь форму оценки (например, оценка технических навыков кандидата), метки или категоризации (например, категоризация резюме кандидата на основе ключевых слов, присвоение кандидату навыка или черты характера), рекомендации (например, следует ли назначить кандидату собеседование) или ранжирования (например, упорядочивание списка кандидатов на основе того, насколько их сопроводительные письма соответствуют описанию вакансии).

Что такое аудит предвзятости, кто его должен проводить и как

Акт запрещает работодателям и кадровым агентствам использование автоматизированных инструментом принятия решений без предварительного прохождения аудита предвзятости. Термин аудит предвзятости означает беспристрастную оценку, проводимую независимым аудитором. Такой аудит должен включать, но не ограничиваться тестированием автоматизированного инструмента принятия решений в сфере трудоустройства для оценки его неравномерного воздействия на физических лиц. Согласно Инструкции, независимый аудитор – это лицо или группа лиц, которые способны проявить объективное и беспристрастное суждение по всем вопросам, входящим в сферу аудита предвзятости АИПР. Аудитор не является независимым, если он:

а) участвует или участвовал в использовании, разработке или распространении АИПР;

б) в любой момент во время аудита имеет трудовые отношения с работодателем или кадровым агентством, которые планируют использовать или продолжают использовать АИПР, или с поставщиком, который разработал или распространяет АИПР; или

в) в любой момент во время аудита имеет прямую или существенную косвенную финансовую заинтересованность в работодателе или кадровом агентстве, которые планируют использовать или продолжают использовать АИПР, или в поставщике, который разработал или распространил АИПР.

Аудит предвзятости должен быть проведен в течение одного года до момента использования АИПР (например, если АИПР используется 5 июля 2023 года, то аудит должен быть проведен в период с 5 июля 2022 года).

Из разъяснений, изложенных в Инструкции, следует, что если АИПР отбирает кандидатов для приема на работу или сотрудников для повышения, а также классифицирует их по группам, то аудит предвзятости, как минимум, должен:

1.     рассчитать коэффициент отбора для каждой категории;

2.     рассчитать коэффициент влияния для каждой категории;

3.     убедиться, что расчеты, требуемые в пунктах “1” и “2”, отдельно рассчитывают воздействие АИПР на:

– категорию “пол” (например, коэффициент воздействия для отбора кандидатов-мужчин по сравнению с кандидатами-женщинами),

– категорию “раса/этническая принадлежность” (например, коэффициент влияния для отбора кандидатов латиноамериканцев по сравнению с афроамериканскими), и

– взаимопересекающиеся категории “пол” и “этническая и расовая принадлежность” (например, коэффициент влияния при отборе кандидатов-мужчин латиноамериканцев и кандидатов-женщин афроамериканок).

4.     убедиться, что расчеты, указанные в пунктах “1”, “2” и “3” этого подраздела выполнены для каждой группы (если АИПР классифицирует кандидатов по определенным группам, например, по стилям руководства); и

5.     указать количество оцененных АИПР лиц, которые не были включены в требуемые расчеты, поскольку относятся к неизвестной категории.

Пример: работодатель хочет использовать АИПР для отбора резюме и назначения собеседований при размещении вакансии. Для этого работодатель должен убедиться, что аудит АИПР на предмет предвзятости был проведен не более чем за год до его планируемого использования. Этот аудит необходим, даже если работодатель не использует АИПР для принятия окончательного решения о найме, а только для отбора на ранней стадии процесса подачи заявления. Далее работодатель обращается к поставщику АИПР с тем, чтобы он предоставил имеющиеся данные по отбору кандидатов, собранные им от нескольких работодателей, независимому аудитору, который и проводит аудит.

В таблицах ниже представлены иллюстрации расчета коэффициентов отбора и влияния для разных категорий:

Обязательства по публикации результатов аудита предвзятости автоматизированного инструмента принятия решений и уведомлению кандидатов и сотрудников

Акт также предусматривает, что работодатель и кадровое агентство до начала использования АИПР должны разместить в открытом доступе на своих веб-сайтах краткую информацию о результатах и дате последнего аудита предвзятости. Из уточнений этого положения, указанных в Инструкции, следует, что:

а) краткую информацию о результатах проверки необходимо опубликовать на веб-сайте в разделе трудоустройство в ясной и заметной форме, сведения должны в себя включать источник и объяснение данных, использованных для проведения проверки на предмет предвзятости, количество лиц, которых оценивал АИПР, относящихся к неизвестной категории, и количество претендентов или кандидатов, коэффициенты отбора или оценки, в зависимости от ситуации, и коэффициенты воздействия для всех категорий; а также дата распространения АИПР;

б) работодатель или кадровое агентство должны хранить краткую информацию о результатах проверки АИПР и о дате распространения в течение как минимум 6 месяцев после последнего использования АИПР для принятия решения в сфере трудоустройства.

Пример: аудит предвзятости уже прошла компания HackerRank, управляющая платформой по подбору персонала для ИТ сферы. На их сайте в соответствующем разделе опубликована краткая информация о результатах проверки Системы обнаружения плагиата на предмет предвзятости. Эта Система работает на основе технологий ИИ и помогает, в частности, выявлять плагиат в работах разработчиков, откликнувшихся на те или иные вакансии. Любопытно, что Система позволяет выявлять, пользовались ли кандидаты-разработчики помощью инструментов вроде ChatGPT.

Таким образом, предметом проверки со стороны аудитора являлась Система обнаружения плагиата(Система). Аудит был проведен компанией Babl AI, занимающейся консультированием по вопросам соблюдения законодательства в сфере ИИ. При этом в опубликованном отчете специально оговаривается, что Babl AI провела только аудит предвзятости Системы и из факта его проведения не следует, что Система является автоматизированным инструментом принятия решения в сфере трудоустройства в значении Акта Нью-Йорка об аудите предвзятости. Аудит, описанный у них на сайте, был проведен для того, чтобы соблюсти требование акта только в части проведения аудита предвзятости, и не означает соблюдение других требований акта, например, о необходимости уведомления кандидатов на вакансии.

Кроме того, работодатели и кадровые агентства должны уведомить кандидатов или сотрудников не менее чем за 10 рабочих дней до использования АИПР. В уведомлении должно быть указано, что АИПР будет оценивать кандидата или сотрудника, проживающего в городе, квалификационные требования и характеристики, которые он будет учитывать, информация о типе данных, собранных для АИПР, источник данных, инструкции о том, как запросить альтернативный способ отбора или разумные меры по подготовке в соответствии с другими законами, а также политика хранения данных АИПР.

Таким образом, акт позволяет кандидатам и сотрудникам давать более информированное согласие на взаимодействие с автоматизированным инструментом и предоставляет им достаточное количество времени для изучения и рассмотрения инструмента, с которым они будут взаимодействовать, последствий, которые это может иметь для них, а также возражают ли они против этого.

Какие штрафы предусмотрены за несоблюдение акта

Работодатели и кадровые агентства, не соблюдающие акт, будут наказываться штрафами в размере до $500 за первое нарушение и каждое дополнительное нарушение, совершенное в тот же день. Последующие нарушения влекут за собой штрафы в размере $500 - $1500 в день. Нарушения и штрафы, наверняка, будут широко освещаться в СМИ и это окажет значительное влияние на репутацию компании, что может нанести ей серьезный ущерб. Кроме того, требование акта публиковать столь подробные данные о результатах трудоустройства для различных демографических категорий подвергает работодателей негативным репутационным и юридическим рискам, если их инструменты окажутся необъективными, что может обойтись гораздо дороже, чем сами штрафы.