Smart A., Kasirzadeh A. Beyond model interpretability: Socio-structural explanations in machine learning //AI & SOCIETY. – 2025. – Т. 40. – №. 4. – С. 2045-2053.

Статья начинается с констатации важной проблемы в машинном обучении (МЛ): многие современные модели являются «чёрными ящиками», чьи решения сложно понять даже экспертам. В ответ на это возникло целое направление — интерпретируемое машинное обучение (Interpretable ML).

Цель интерпретируемого МЛ: Сделать выводы моделей понятными для человека.Методы: Используются различные техники, от локальных объяснений (например, LIME, SHAP) для отдельных решений до глобальных, описывающих общее поведение модели, и механистических, пытающихся заглянуть «внутрь» модели (например, анализ активаций нейронов).

Однако у этого подхода есть фундаментальные ограничения:

• Контекстуальная недостаточность: Стандартные объяснения фокусируются на внутренней механике модели (признаки, веса), но игнорируют внешний контекст.
• Пример из здравоохранения: Алгоритм, предсказывающий риск повторной госпитализации, может использовать признак «общие затраты на лечение за прошлый год». Моделецентрическое объяснение покажет, что этот признак важен. Но оно не объяснит, почему алгоритм систематически занижает риск для чернокожих пациентов. Причина кроется не в модели, а в социуме: из-за системного неравенства чернокожие пациенты исторически имеют меньший доступ к медицине и, следовательно, тратят меньше. Низкие затраты отражают не хорошее здоровье, а неудовлетворённые медицинские потребности, что ведёт к более высокому реальному риску.

Основной тезис авторов: Для понимания выводов МЛ-моделей в социально значимых областях (здравоохранение, кредитование, найм) недостаточно моделецентрических объяснений. Необходим третий тип — социо-структурные объяснения (socio-structural explanations), которые учитывают, как на модель влияют социальные структуры.

2. Ландшафт интерпретируемого МЛ и его нерешённые проблемы

Авторы систематизируют существующие подходы к интерпретируемости:

1. По способу получения:Внутренне интерпретируемые модели: Простые по design (например, короткие деревья решений).
2. Пост-хок объяснения: Применяются после обучения сложной модели (SHAP, LIME, salency-карты).
3. По охвату:Локальные объяснения: Объясняют одно конкретное решение (например, «кредит не одобрен, потому что доход слишком низкий»).
4. Глобальные объяснения: Описывают общее поведение модели (например, «наибольшее влияние на прогноз цены дома оказывает площадь»).
5. Механистическая интерпретируемость: Попытка реверс-инжиниринга внутренней работы моделей (например, идентификация «цепочек» нейронов, отвечающих за конкретные концепты).

Ключевые проблемы современных методов:

• Хрупкость: Объяснения могут резко меняться при небольших изменениях в данных или модели.
• Множественность объяснений: Для одного и того же решения можно получить несколько разных, но валидных объяснений, которые могут противоречить друг другу или акцентировать разные (иногда социально чувствительные) аспекты.
• Отсутствие гарантий точности: Нет доказательств, что пост-хок объяснение действительно отражает истинный процесс принятия решений моделью. Объяснение может быть упрощённым или вводящим в заблуждение.

Вывод этого раздела: Существующие техники необходимы, но недостаточны. Авторы предлагают расширить понятие прозрачности, включив в него анализ социальных и структурных факторов, внешних по отношению к модели.

3. Социальные структуры и социо-структурные объяснения

Что такое социальные структуры?

Это невидимый «каркас» общества, который формирует нашу жизнь, возможности и ограничения. Они включают в себя:

• Институты (законы, политика, экономические системы).
• Культурные и нормативные убеждения (раса, гендер, класс).
• Распределение ресурсов.
• Физическую инфраструктуру.

Социальные структуры — это не абстракция; они оказывают реальное, материальное воздействие на людей, вызывая устойчивые социальные явления, такие как расовое или гендерное неравенство.

Примеры социо-структурных объяснений:

• Пример с оценками (Гарфинкель): На вопрос «Почему Мария получила пятерку?» простой ответ «она написала оригинальную работу» недостаточен. Полноценное объяснение должно включать социальный аспект («она написала лучшую работу в классе») и структурный аспект («преподаватель установил кривую оценок, ограничив число пятёрок одной»). Структура (кривая) определяет контекст, в котором индивидуальное действие (качество работы) приобретает значение.
• Пример гендерного неравенства (Хаслангер): На вопрос «Почему женщины экономически неблагополучны?» можно дать три типа объяснений:Биологистическое: Женщины менее способны (неверно и проблематично).
• Индивидуалистическое: Женщины сами выбирают семью вместо карьеры (игнорирует внешнее давление).
• Структурное: Женщины находятся в экономической системе, которая систематически их дискриминирует через практики найма, социальные нормы и распределение домашнего труда. Это и есть социо-структурное объяснение.

Применение к МЛ: Пример с алгоритмом найма

Рассмотрим модель, которая рекомендует нанимать мужчин на руководящие должности.

• Моделецентрическое объяснение (SHAP): «Кандидат-мужчина имеет +10 лет непрерывного опыта, что добавляет +0.4 к его счёту. У кандидата-женщины только +7 лет, что добавляет +0.2».
• Социо-структурное объяснение (раскрывает глубинные причины):Исторические данные: Модель обучалась на данных о найме 2000-2020 гг., где 85% CEO были мужчинами. Это отражает историческую структурную дискриминацию женщин в IT.
• Штраф за перерывы: Модель жёстко штрафует за карьерные паузы. 40% женщин имели перерывы (в среднем 2.5 года), часто связанные с рождением детей, что является следствием социальных норм, возлагающих основную ответственность за уход за детьми на женщин.
• Игнорирование географии: Модель не учитывает географию, хотя социальные ожидания часто вынуждают женщин выбирать работу ближе к дому, ограничивая их возможности.

Социо-структурное объяснение связывает вывод модели с внешними социальными структурами: исторической дискриминацией, гендерными нормами и институциональными практиками.

Что дают такие объяснения? Они позволяют перейти от «латания» модели к фундаментальным исправлениям:

• Изменить модель (ограничить вес «непрерывного опыта»).
• Добавить новые признаки («разнообразный опыт»).
• Расширить данные (добавить профили успешных executives с карьерными паузами).
• Изменить политику компании (обязательная проверка кандидатов, пониженных из-за перерывов).

4. Пример: Расовая предвзятость в медицинских алгоритмах

Авторы разбирают нашумевший кейс (Obermeyer et al., 2019) с алгоритмом распределения медицинских ресурсов в США.

Проблема: Алгоритм систематически занижал риск для чернокожих пациентов, хотя они были так же больны, как и белые.

Моделецентрическое объяснение: Алгоритм использовал затраты на лечение как прокси для потребности в лечении. Этот признак был ключевым для прогноза.

Социо-структурное объяснение:

• Причина смещения: Чернокожие пациенты в среднем тратили на $1800 в год меньше при том же набохронических заболеваний. Это не потому, что они здоровее, а из-за системного расизма в здравоохранении: историческое отсутствие доступа к качественной медицине, недофинансирование клиник в чёрных районах, дискриминация со стороны врачей.
• Как это работает в модели: Алгоритм, используя «затраты» как прокси для «потребностей», некритически встраивает и воспроизводит существующее структурное неравенство. Он интерпретирует низкие затраты (следствие неравенства) как низкую потребность, тем самым отказывая чернокожим пациентам в необходимой помощи и усугубляя проблему.

Вывод: Без социо-структурного объяснения мы видим лишь «ошибку в признаке», но не понимаем, что алгоритм стал инструментом воспроизводства структурного расизма.

5. Выводы и последствия для исследований

Авторы приходят к нескольким ключевым выводам:

1. Расширение понятия прозрачности: Требования к прозрачности МЛ-систем должны выходить за рамки внутренней механики моделей и включать социо-структурные факторы.
2. Необходимость междисциплинарности: Разработчикам и исследователям МЛ не хватает знаний и ресурсов для анализа социальных структур. Необходимо активно привлекать социологов, философов, специалистов по этике и представителей пострадавших сообществ.
3. Интеграция на всех этапах: Социо-структурное понимание должно быть встроено во весь жизненный цикл МЛ — от формулировки задачи и сбора данных до развёртывания и мониторинга.
4. От технократии к социальной ответственности: Цель — создание не только технически совершенных, но и социально осознанных и справедливых систем.

Итог: Статья утверждает, что для ответственного использования ИИ в высокорисковых социальных областях мы должны выйти за рамки вопроса «Как модель пришла к этому выводу?» и задать более глубокий вопрос: «Какие социальные структуры и неравенства отражаются, усиливаются или маскируются этим выводом?». Социо-структурные объяснения — это мост между техническим миром машинного обучения и сложной социальной реальностью, в которой эти машины работают.