Как правильно делать выводы из данных опросов

Часто в ленте мы встречаем разные цифры опросов и выводы из них выглядят самоочевидными. Однако техника опросов устроена таким образом, что для правильной интерпретации полученные цифры нужно как следует деконструировать. Как понять что на самом деле стоит за цифрами опросов?

Не следует фокусироваться на точных цифрах. 

Вместо этого лучше смотреть на варианты, набравшие наибольшую и наименьшую долю ответов, на примерную часть (четвереть, треть, половина, большинство, подавляющее большиснтво).

• В зависимости от размера выборки, статистическая погрешность обычно составляет порядка 3%. Даже при идеальном соблюдении методики сбора данных.
• Методика сбора данных часто не идеальная. Например, многие опросы по Беларуси ограничиваются достаточно активными пользователями интернета и горожанами. К тому же делаются на неслучайных выборках (через панели).
• Опросы на политические темы подвержены влиянию фактора страха.
• Цифра сильно зависит от формулировки вопроса и вариантов ответа. Например, доля пророссийских людей будет несколько меняться в зависимости от того спрашиваем ли мы про интеграцию с Россией или предлагаем выбрать "геополитическую ориентацию" из набора вариантов.
• Даже содержательно идентичные вопросы могут давать разные проценты, если заданы по-разному. Например, мы получим большую долю по каждому из направлений "геополитической ориентации", если зададим вопрос о поддержки о каждом направлении отдельно, а не один вопрос и в вариантах ответа список направлений.
• Играет роль также место вопроса в анкете. Например, поотвечав на вопрсы о разных аспектах жизни в Беларуси, а значит порефлексировав на эти темы, респонденты ответят на вопрос о власти иначе, чем если бы этот вопрос был в самом начале анкеты.

Выводы о социальных характеристиках стоит делать только на основании нескольких вопросов.

Отдельные вопросы - это лишь индикаторы, позволяющие что-то приблизительное узнать о социальных характеристиках людей, но не замеряют их напрямую. 

• Например, часто о рыночных установках людей мы судим по вопросу в стиле "поддерживаете ли вы рыночные преобазования". Конечно, ответы что-то говорят, например, об идеологической самоидентификации. Однако в то же время этого соверешенно не достаточно. Потому что, например, даже под самими рыночными преобразованиями люди будут понимать очень разные вещи. Короче чтобы делать выводы о такой объемной характеристике, как рыночные установки нужно разложить ее на целый ряд индикаторов: отношение к конкуренции, представление о целях производства, готовность действовать определенынм образом на рынке труда, отношение к праву собственности и т.д.
• На самом деле в хороших исследованиях за вопросами всегда стоит концептуальный аппарат, позволяющий правильно интерпретировать полученные результаты. То есть исследователи заранее формулируют что они хотят изучить (некоторую теорию), а затем раскладывают ключевые понятия на индикаторы (это называется операционализация). Затем на стадии анализа собранных данных происходит обратный процесс - частные индикаторы схлопываются в общий вывод. Поэтому важно смотреть не только на диаграммы с распределениями ответов, но и читать выводы исследователей.

Важно смотреть не только на распространенность тех или иных характеристик, но и на связи между ними.

Это позволяет еще лучше понять природу этих характеристик.

• Например, в политических опросах мы часто видим, что значительная часть людей просто не имеют мнения по многим темам. Отсюда можно сделать вывод, что это просто невежественные люди, которые по какой-то причине не интересуются социальными условиями своей жизни. Однако если посмотреть на связь между ответами на политические вопросы и ответами на вопросы об экономике, мы увидим, что это "безразличные" люди могут иметь довольно четкие взгляды касательно социальной политики государства, уровня жизни и т.п. В то же время мы увидим, что они как правило более бедыне. Это значит, что это не "безразличные" к политике люди, просто господствующие политические дискурсы с их темами и конфликтам - это не та политика, которая отвечает их интересам.

Полезно обращать внимание на динамику ответов - как они менялись со временем.

Поскольку распределения "в моменте" могут быть подвержены разным искажениям и мисинтерпретациям, 

• Раз для замера характеристик используется один и тот же инструмент, то значит за изменениями результатов опроса действительно стоят изменения в обществе. 
• Хотя здесь следует быть аккуратным, потому что это могут быть такие изменения в обществе, которые меняют не саму изучаемую характеристику, а отношение к используемому инструменту (например, повышается влияние "фактора страха").

Нужно оценить не происходит ли навязывание проблематики, то есть действительно ли спрашивается о вещах, на которые люди способны осмысленно ответить.

• Если вопрос на самом деле не является широко обсуждаемым, то мы получим скорее спонтанную реакцию людей на ситуацию опроса, чем представление о их социальных харакетристиках. Конечно, такая реакция на ситуацию опроса также социально обусловлена, однако часто сложно понять что влияет больше - реальне социальные характеристики или обстоятельства опроса.
• Многие люде не имеют мнения по вопросам, которые нам кажутся общественно важными и это нормально, потому что обусловлено наличием разных политических позиций. На самом деле определение отдельных тем в качестве общественно важных - это тоже предмет политической борьбы. Например, Лукашенко не хотел бы, чтобы тема политзаключенных была чем-то обсуждаемым, тогда как для революционного движения это одна из ключевых тем вокруг которых строится политика.
• Вопрос должен использовать именно такие формулировки в которых о нем реально рассуждают люди. В этом смысле хорошо, когда исследование включает не только опрос, дающий количественную оценку различных характеристик, но и интервью или фокус-группы, позволяющие сформулировать вопросы в анкете на языке респонеднтов и понять какой смысл они вкладывают в те или иные слова.

Результаты опроса стоит сравнивать не только с другими опросами, но и с данными полученными другими методами, а также событиями в обоществе.

Это важно делать, поскольку все опросы используют примрено одинаковую технику. 

• Если для исследования какой-либо темы сама по себе опросная техника дает не очень хороший результат, понять это можно, только проанализировав данные собранные другим способом.
• Вписывать данные опросов в происходящие события просто необходимо для их правильной интерпретации. На самом деле мы всегда делаем это стихийно, однако чуть более систематический подход позволит дать более надежный результат. Например, исследуя отношение беларусов к войне важно сопоставить результаты опросов с событиями: какие были политические акции, сколько людей репрессированны за антивоенную позицию, что говорят основные политические силы и т.п.