Когда респондентом становится нейросеть
У нас в России в последние год-полтора проходит оживленное обсуждение перспектив синтетических респондентов. На 79-й конференции WAPOR появилась возможность послушать, что происходит у наших коллег из других стран. Хоть они и не ушли далеко от нас, но их находки тоже достойны внимания.
Для социологов проверка того, насколько добросовестно люди отвечают на вопросы, является профессиональной привычкой. Но сегодня вопрос ставится совершенно неожиданным образом: а был ли вообще респондент человеком или мы имели дело с искусственным интеллектом? Выясняется, что большие языковые модели умеют не только заполнять анкеты, но и поддерживать согласованную «биографию», отвечать на открытые вопросы и легко проходят любые проверки качества. Не будем упоминать всуе, когда и как это может происходить – нас возможно читают и недобросовестные люди.
По всему миру возник одинаковый соблазн – если ИИ убедительно имитирует респондента, нельзя ли заменить реальную выборку тысячами искусственных?
Оба вопроса обсуждались на мастер-классе Яна Карема Хёне на примере серии его исследований и публикаций. Получилось прослушать не весь его доклад, но даже вторая его половина была крайне информативной.
В эксперименте с четырьмя ботами разной сложности он заставлял каждого по сто раз проходить онлайн-анкету. Не менее 97% попыток были удачными. Продвинутые ИИ-боты проходили капчу и тест на проверку внимания, могли давать содержательные ответы и даже выдерживать паузы, напоминающие поведение человека. Хорошо известные нам привычные признаки сомнительного интервью – высокую скорость, необъяснимые пропуски, «прощелкивание» на автомате, бессвязность и т.п. машина умеет хорошо обходить.
Если они уже настолько продвинулись, то почему не поручить проверку другим алгоритмам? В другом исследовании модель распознавала 97–100% ответов специально созданных ботов на открытые вопросы. Но качество ухудшалось при переносе на вопросы, не встречавшиеся при обучении. То есть этот успех достигнут в контролируемых условиях и не является универсальным детектором. Хёне и его соавторы попробовали применить анкету, провоцирующую бота обнаружить себя. Реакция здесь зависела от сложности бота.
Но волнуют социологов не только возможности и угрозы со стороны «синтетических персон». Появилась идея «синтетических выборок» (точно таким же был предмет противостояния наших разработчиков этой весной).
Модели сообщают социальный профиль – возраст, образование, доход и взгляды – и просят отвечать от имени такого человека. Кажется, что это быстро и дешево. Но насколько эта модель будет похожей на реальное общество?
В исследовании Хёне GPT-3.5 представили профили участников немецкого электорального опроса и модель должна была предсказать, за кого они голосовали в 2017 году. Лишь 39% индивидуальных предсказаний совпали с ответами людей. Модель завышала доли сторонников «Зеленых» и Левой партии и недооценивала некоторые другие категории. Она угадывала позиции типичного избирателя, но хуже учитывала сложное сочетание установок и биографических обстоятельств.
Еще один эксперимент со 162 искусственными «персонами» обнаружил неравный вес социальных признаков. В ответах на вопросы о правах <известно кого, но не будем их здесь называть> партийная принадлежность в большинстве случаев влияла на модель гораздо сильнее, чем возраст или пол (у него – гендер). Это был вывод не о реальных немцах, так как исследователи изучали иерархию признаков внутри модели, то есть ее представления о вероятном поведении человека. При повторных запусках некоторые «персоны» еще и отвечали почти одинаково. Такая устойчивость может означать не точность, а потерю внутригруппового разнообразия.
Практический вывод Хёне следующий. Во-первых, при проведении онлайн-опросов требуется многоуровневая проверка подлинности данных, а синтетические респонденты полезнее как инструмент тестирования анкет и диагностики стереотипов самой модели, чем если бы они выступили в качестве замены полевого исследования. Во-вторых, необходимы прозрачные правила раскрытия и проверки использования ИИ в научной работе.
Главный парадокс, обнаруженный Хёне – то, что ИИ с каждым разом все лучше имитирует отдельного респондента, но точность «воспроизведения общества» не растет. По его мнению, правдоподобный ответ и достоверное знание о социальных отношениях – это две большие разницы.