Критический обзор исследования сообщества "Феминизм: наглядно" о БДСМ субкультуре.

0. Введение

Введение будет большое, предупреждаю сразу — его задача объяснить критерии, по которым мы будем рассматривать данное исследование, начиная с того, на каком основании я вообще заявляю какие бы то ни было критерии и заканчивая детальным объяснением, почему я полагаю важными именно их.

0.1. Кто я и почему меня касается эта тема

Я — БДСМщик, нижний, вот уже девять лет мы с Госпожой вместе, и естественно, что вещи, касающиеся БДСМ-сообщества, непосредственно касаются и меня.

Помимо этого, я — создатель, админ и единоличный владелец телеграм-канала Don't Mop, и в подобной ситуации я чувствую себя обязанным высказаться.

И наконец, last but not least, около восьми лет я, как математик по образованию, занимался информационной поддержкой социальных и медицинских исследований, обрабатывал данные множества различных научных коллективов, проводил свои исследования, и, полагаю, я обладаю необходимыми компетенциями, чтобы высказываться на эту тему.

0.2. Повод к написанию статьи

В ночь с 12 на 13 февраля через одну из форм для обратной связи с моими подписчиками я получил анонимное сообщение следующего содержания:

Разумеется, я не мог не откликнуться на подобное приглашение, тем более в свете проводимого нами сейчас исследования о стигматизации представителей БДСМ-субкультуры подобного рода нарратив представляет для нас и исследовательский интерес. То, каким образом другие изучают нас, говорит об их отношении к нам, не так ли?

Надо признать, с увиденного а анкете я несколько охуел, однако махать шашкой на эмоциях не в моём стиле. Теперь же, когда опубликованы и результаты этого опроса, нам безусловно есть что обсудить.

0.3. Критерии "хорошего" исследования

Чтобы нам было что обсуждать, предлагаю прежде всего ввести общие критерии того, какое исследование мы считаем хорошим, чтобы в дальнейшем опираться на них, а не на неверифицируемые оценочные суждения.

Вы вольны оспорить их и подвергнуть критике, например, в комментариях или форме для обратной связи, но в целом я стараюсь соответствовать основным критериям научной этики, целесообразности и старой-доброй объективности.

Все критерии я предлагаю рассматривать по одной и той же схеме: — краткое определение, которое мы будем использвать впоследствии в оглавлении соответствующих секций, сжатое пояснение о чём речь и утрированный пример для лучшего закрепления.

Итак, в моём понимании качественного исследования, хорошо, чтобы ему были свойственны:

На уровне анкеты/опроса/полевого этапа

1. Беспристрастность.
   
   Тексты опросников не должны содержать и отображать позиции исследователя по вопросу: в них не должно быть наводящих вопросов, вопросов, структура которых явно подсвечивает как желательный (или наоборот убирает из фокуса внимания) один из вариантов, шкалы, предлагающие выразить отношение к какому-то явлению, должны представлять сбалансированный диапазон оценок от крайне отрицательных до предельно положительных.
   
   Пример: Вопрос вида "оцените этих вырожденцев по шкале от -5 до 5, где -5 это подонки, а 5 — маргиналы" очевидно не беспристрастен.
   
2. Соответствие выборки предмету исследования.
   
   По сути, это выражение принципа "ни слова о нас без нас". Если опрос посвящён представителям общности Х и предполагает сбор мнений именно представителей общности Х, то и проводиться он должен среди участников общности Х, а не среди каких-то других групп.
   
   Пример: опрос мнения жителей Воронежа должен проводиться в Воронеже, а не Москве, даже если в Москве есть некоторые шансы поймать на вокзале воронежца.
   
3. Предварительная работа по изучению самой предметной области.
   
   Исследование должен проводить человек, обладающий достаточными знаниями, чтобы как минимум не задавать некорректные вопросы или вопросы, на которые значительная часть репондентов не в состоянии будет ответить, а также учитывать структуру предполагаемой выборки.
   
   Пример: опрос среди автомобилистов, не учитывающий, что некоторые из них никогда не водили "праворульные" авто, и требующий в обязательном порядке всех участников описать свои эмоции от вождения автомобиля с "правым" рулём по шкале от 1 до 5 приведёт к тому, что часть целевой аудитории или отсеется, или будет вынуждена ответить любую чушь, чтобы пройти дальше.

На этапе демонстрации результатов

1. Явное и чёткое описание структуры выборки и методов её получения.
   
   Какого пола и возраста ваши респонденты? Где проживают. Какую сексуальную ориентацию имеют? Какая доля респондентов вообще принадлежит к той группе, которой и посвящён опрос? Если внутри общности, которую вы оцениваете, есть свои подгруппы, стоит привести распределение респондентов по ним. Где вообще был проведён опрос и как собирались анкеты?
   
   Пример: прочувствуйте разницу между фразами "всего 5% личного состава фирмы считают недостаточными действия руководства по борьбе с расизмом" и "по результатам опроса среди 20 сотрудников, 19 из которых белые, всего 5% личного состава фирмы считают недостаточными действия руководства по борьбе с расизмом". Ощутимо?
2. Опора на продемонстрированные данные исследования.
   
   Цифры прежде слов. Интерпретация и вывод, основанные на полученных результатах — это мнение исследователя. А конкретные полученные распределения, корреляционные коэффициенты, кластеры и так далее — это факт. Чтобы вообще было о чём разговаривать, результаты исследования должны лежать на столе.
   
   Пример: фраза "по мнению большинства респондентов, сексуальная мечта всей их жизни — Леонид Агутин" звучит классно, но на циферки хотелось бы посмотреть. А перед этим ещё и на структуру выборки из предыдущего пункта.
3. Включения, нерелевантные данному исследованию. 
   
   Их должно быть по минимуму. Ваше исследование — это прежде всего ваше исследование. Нет ничего дурного в том, чтобы ссылаться на факты и теории, утверждённые другими исследователями, чтобы показать контекст или место исследования в картине мира, но его основная ценность состоит в данных, полученных Вами. Вы же не занимаетесь рекламой какого-то другого исследования или книги, а ведёте своё.
   
   Пример: если половину исследования о судьбе ЛГБТ-сообщества в Германии, будет составлять историческая справка о зверствах нацистов на Смоленщине или отчёт о статистике потребления дизельного топлива в Берлине — это как минимум вызовет вопросы.

0.4. Пример исследования, соответствующего вышеназванным критериям

Ну да, ну очевидно, что я могу тут написать: "БДСМ и психологическое благополучие" — мой труд, который, если бы не стигматизация БДСМ-сообщества и не страх преследований со стороны гомофобов и ненавистников БДСМ-коммьюнити, вынуждающие меня беречь свою анонимность, я бы вычистил от матюков и смешнявок и опубликовал бы в журнале из SCOPUS или WOS, причём думаю, пропихнул бы квартиль так во второй.

По критериям:

Беспристрастность.
Формулировки вопросов нейтральны большинство из них имеет форму вида "подвергались ли вы" или "были ли вы" и представлены шкалой от "никогда" до "систематически". Она покрывает весь диапазон вариантов, и не даёт подсказок между вариантов "никогда не подвергались" и "подвергались систематически" все равны.

Соответствие выборки предмету исследования.
Первый опрос посвящён БДСМ-сообществу, проведён в Телеграм-каналах, посвящённых БДСМ, и являющихся своебразными "местами скопления" БДСМщиков в Интернете.
Второй опрос посвящён ванильным гражданам, и проведён в каналах про психологию и отношения, не имеющих привязки к БДСМ-сообществу.

Со списком каналов, принявших участие в исследовании можно ознакомиться здесь.

Предварительная работа по изучению самой предметной области.
Анкета учитывает разнообразие тематических практик, специфически учитывает позиционирование и предпочтения респондентов, принадлежащих БДСМ-сообществу.

Явное и чёткое описание структуры выборки и методов её получения.
И в первой, и во второй главе, где вводятся соответственно выборки по Тематикам и ванили, даны их детальные описания в разрезе пола, возраста, гендерной идентичности, сексуальной ориентации, страны и города проживания, а также (в случае с бдсмщиками) Тематического позиционирования и предпочитаемых практик.

Опора на продемонстрированные данные исследования.
По сути сама структура каждого из трёх документов такова, что большинство тезисов идут как комментарии и пояснения к выложенным таблицам, цифрам и графикам.

Включения нерелевантные данному исследованию  
Практически отсутствуют. На полученные в ходе опросов результаты не опираются разве что только описания применённых методов в третьей главе, данные, чтобы пояснить смысл происходящего.

Пиздец. Тут 11 вордовских страниц, и 1143 слова, а я только-только объяснил, какого рода требования считаю логичными и правильными при обсуждении исследования, хотя бы претендующего на объективность. Ну да ладно, с готовым фреймворком остальное будет piece of cake!

1. Критическое рассмотрение анекты сообщества "Феминизм: наглядно"

1.1. Беспристрастность

Хороший пример пристрастной подачи информации представлен на скриншоте ниже. В то время как нейтральная и беспристрастная постановка вопроса об отношении к какому-то явлению требует задать шкалу от выраженно негативной до выраженно позитивной оценки, тут мы наблюдаем диапазон от явно негативной до негативной с небольшим позитивным вкраплением.

Особенно эффектно смотрятся эти вопросы, если учесть, что на все ты должен ответить, даже если что-то не практикуешь, или вообще понятия не имеешь что этот термин означает.

А может, как раз для таких случаев и висит в каждом вопросе напоминание, что это неправильно, больно и дискомфортно, чтобы подтолкнуть мысль в нужном направлении? По аналогии с такой шкалой, вопрос, например, о полезности твиттер-активизма звучал бы так:

"Как вы оцениваете степень полезности от деятельности радфем-активисток в твиттере по шкале от 1 до 5, где 1 — это бесполезность, а 5 — польза, полностью перекрывающая ущерб от мизогинных нападений на женщин, не разделяющих ценности радфем".

Чувствуете, как нейтральностью и непредвзятостью пахнуло? Но в адрес нашего сообщества почему-то так можно. Я вижу тут предвзятость, и вряд ли дело во мне одном.

И что-то мне кажется, что они ни разу не объективны и сам опрос подталкивает к нужным ответам. 

Сообщали мне подписчики, рассказывая об этом опросе.

А где вариант, что человек вообще не испытывает дискомфорта?)

Поинтересовалась моя Госпожа, когда я скинул ей ссылку.

Некоторых знакомых Тематиков из тех, кому я кинул ссылку на опрос спросьбой прокомментировать, я и вовсе не решусь цитировать, но, кажется, самое время задать вопрос:

Если женщины говорят, что некое высказывание мизогинно, к ним стоит прислушиваться, так?
Если геи говорят, что некое заявляение гомофобно, то так и есть?
Многие БДСМщики, кого я знаю, говорят, что этот опрос заряжен против Тематиков и подозрительно похож на высказывания, стигматизирующие наше сообщество...

Так что, фильтр беспристрастности такая анкета проходит?

1.2. Соответствие выборки предмету исследования

Сомнительно, и требует серьёзных подтверждений на этапе демонстрации результатов.

В фокусе исследования должны быть представители БДСМ-сообщества, но мне неизвестно о случаях размещения этой анкеты в группах VK или телеграм-каналах, посвящённых БДСМ (а я примерно в то же время провожу исследование о стигматизации БДСМ-сообщества, и с админами многих из этих каналов сотрудничаю или как минимум отслеживаю их публикации).
Кроме того, с учётом сказанного в секции 1.1. сама возможность подобного размещения выглядит сомнительно: примерно, как публикации неприкрыто гомофобной анкеты на ЛГБТ+ ресурсе.

Анкета была опубликована на феминистских площадках. Да, среди БДСМщиков достаточно много феминисток, и логично предположить, что среди подписчиц и подписчиков "Феминизм: наглядно" могут оказаться БДСМщики, но по большому счёту это попытка анкетировать воронежцев, не выезжая из Москвы.

Если в ходе демонстрации результатов опроса авторы не покажут структуру выборки и не приведут убедительных доказательств того, что респонденты действительно принадлежат к БДСМ-сообществу, респондентов можно будет с большим успехом считать выборкой по феминисткам, чем по БДСМщикам.

1.3. Предварительная работа по изучению самой предметной области

Выглядит так, что составители анкеты либо не знают базовых вещей о БДСМ, либо сознательно игнорируют целые пласты БДСМ-сообщества.

Во-первых, об этом говорит тот факт, что составителями анкеты попросту игнорируется структура БДСМ-сообщества. Я скинул эту анкету своей Госпоже, но там банально нет вопросов для неё, для того, кто связывает, порет и т.д. Свитчи (люди, при определённых условиях переключающиеся между Верхней и нижней ролями) также могут охарактеризовать лишь часть своих предпочтений.

Во-вторых, авторы игнорируют любые вещи связанные с частотой и интенсивностью воздействий. Складывается ощущение, что для составителей анкеты нет никакой разницы между "один раз попробовать порку", "пару раз в месяц шлёпать шёлковым флоггером" и "каждую неделю пороться до крови", или они не знают о существовании подобных градаций в принципе.

В-третьих, в анкете ни слова о тех мерах безопасности, которые приняты в БДСМ-сообществе, о Табу, о стоп-словах, принципах SSC/RACK/PRICK и так далее... Авторы не знают о них, авторам неинтересно было исследовать отношение к безопасности в БДСМ-сообществе или же авторы просто опасались, что статистика ответов на связанные с ними вопросы может нанести вред их убеждениям?

В-четвёртых, о степени знакомства авторов с темой исследования явно говорит блок вопросов об отношении к различным Тематическим практикам. Уже сам перечень практик очень странный, не понятно, по какому принципу он образован:

1. Флагелляция — ок, популярная практика
2. "Объективация", которая сама по себе практикой не является, но в этот термин запрятано неопределённое количество практик от пет-плея до "игр с доминацией" (шта?)
3. Словесные оскорбления, dirty talk — не самая популярная вещь, кстати
4. Бондаж — тоже ок, тоже весьма популярное явление
5. Асфиксия — редкая, опасная, экстремальная практика, которой избегает большинство Тематиков.
6. Wax-play — практика сравнительно нечастая, потому что требует расходников, а потом ещё и продолжительной уборки.
7. Фистинг, который сам по себе к БДСМ имеет весьма косвенное отношение

Этот список вызывает ряд вопросов:

1. Почему каждый человек должен обязательно "оценить степень удовольствия" от практики, независимо от того, практиковал он её или нет?
   По нашим данным (снова киваю в сторону своего опроса), даже такие практики как флагелляция и бондаж предпочитает 87.3% и 84.2% соответственно, а какая-нибудь редкость типа age-play — около 10%, та же асфиксия — это вообще экстремальная практика и edge play, на который решается меньшинство Тематиков — мы эти цифры даже в отчёт не включили как статистически незначительные.
   Автор не знает, что человек может практиковать одни вещи, и не практиковать другие (или не практиковать ничего) или хочет, чтобы люди описывали своё отношение к тому, с чем не знакомы?
2. А почему именно эти практики, а другие? Почему не knife-play или плэй-пирсинг? Почему не феминизация или пажизм? Почему не DD/lg и DM/lb? Куда подевались праймалы и brat? Как там с контролем оргазма и всякими chastity штуками? Что о сенсорной депривации? Разве не интересно спросить о такой спорной даже в рамках БДСМ сообщества вещи как CNC? Список можно продолжать доооолго...

Складывается ощущение, что структура анкеты базируется либо на сюжете любимых порнофильмов авторского коллектива, либо на предпочтениях какого-то конкретного абьюзера, который почему-то убедил автора, что только это, причём именно всё вместе, и есть БДСМ.

Впрочем, данном случае незнание — это более благородное и безопасное оправдание, потому что в противном случае авторы опроса сознательно строили анкету так, чтобы получить максимально далёкие от реального положения дел результаты. Из принципа "надо давать незнакомым людям benefit of the doubt" я всё же предположу, что речь о незнании, а не злонамеренности и желании стигматизировать наше сообщество.

1.4. Общий вывод по анкете

Эта анкета — отличный артефакт для моего идущего сейчас исследования о стигамтизации БДСМ-сообщества:

1. Анкета имеет явно выраженную и легко читаемую негативную тональность по отношению к сообществу, которое пытается изучать
2. Анкета допускает прохождение человеком, не принадлежащим к сообществу (и даже не знакомым со значением слов, о которых идёт речь) и подталкивает такого человека к негативным оценкам.
3. Анкета вычёркивает значительную часть сообщества, порядка трети, и другую, столь же значительную, просит рассказать только о половине своего опыта принадлежности к группе.
4. Авторы анкеты не знакомы с БДСМ-сообществом, либо сознательно игнорируют его реальные структуру, ценности и идеалы.

2. Критическое рассмотрение демонстрируемых результатов, представленных сообществом "Феминизм: наглядно"

2.1. Явное и чёткое описание структуры выборки и методов её получения

Отсутствует как явление. Даже число респондентов дано очень примерно, их "около тысячи".

Распределение по полу и возрасту? Нет, зачем.
Какая доля опрошенных вообще принадлежит к БДСМ-сообществу? Угадывайте.

Складывается ощущение, что эта доля очень небольшая, иначе об этом было бы сказано явно.

Даже если мы закроем глаза на все предыдущие проблемы анкеты, на этом этапе исследование окончательно теряет всякую ценность. Большая часть опрошенных неизвестно кого, неизвестно имеющих ли отношение к субкультуре, говорят что с таким уровнем детализации их можно было бы и не опрашивать вовсе, а сразу выдумать.

Но главная проблема не в этом. Если опрос реально проводился по феминистским пабликам, а не по БДСМным, и данных о реальном числе БДСМщиков в выборке озвучено не было, то нам придётся опираться на то, что нам известно. Нам известно, среди какой аудитории проводился опрос.

Повторю, это важно: Сколько среди респондентов БДСМщиков, мы не знаем — авторы скрыли от нас. Зато мы можем с большой уверенностью предположить, что все они — подписчицы или подписчики феминистских пабликов, где опрос проходил. Что ж получается, порно и абьюз — путь к феминизму? Шутка.

Видите, до каких любопытных построений можно дойти, если авторы исследования скрывают структуру выборки?

2.2. Опора на продемонстрированные данные исследования

Эпизодическая и неуверенная.

Тест в значительной мере опирается на логические рассуждения, местами вероятно, настолько общепринятые среди аудитории паблика Феминизм: наглядно", что авторы опускают их в тексте, и для постороннего читателя эти места выглядят как провалы в логике.

Обратившись к тексту исследования, несложно заметить, что ссылки на какие-либо статистические данные весьма малочисленны. На рисунке, представленном ниже, я закрасил их зелёным.

Но каково качество даже имеющихся отсылок к статистике? К сожалению, с ним беда. Авторы исследования постоянно ссылаются на доли от общего числа опрошенных, и, право дело, ситуация с порнозависимостью и абьюзом среди подписчиц паблика "Феминизм: наглядно" ужасает (см. рисунок 7).

Чтобы сделать вывод о БДСМ-сообществе, хотелось бы увидеть проценты от числа респондентов, ответивших "Да" на вопрос "14. Вы сейчас используете какие-либо БДСМ-практики?" либо ответивших что угодно, кроме "не практикую" на вопрос "8. Во сколько вы начали практиковать БДСМ?" — но эти данные нам, по какой-то причине не демонстрируют. По какой?

Заявления о наличии статистических связей, не подкреплённые цифрами, подобно представленному ниже, выглядят откровенно слабо, а тем самым подвергают сомнению и тезисы, которые выводятся из них.

2.3. Включения нерелевантные данному исследованию

Обширны и составляют порядка трети текста.

Массивное включение материалов о распространённости порнографии, траффикинге, доходности торговли людьми и прочих вещах, слабо связанных с предметом исследования (факторов, которые могли повлиять на предпочтения участников БДСМ-сообщества), выглядят как попытки эмоциональной манипуляции публикой, желание "подогреть" её перед началом рассмотрения самих результатов исследования.

Впрочем, впечатление эмоционального нагнетания не покидает читателя на протяжении всего чтения. Соломенные чучела "секс-блоггеров" и "маскулистов и либеральных феминисток" поднимаются авторами едва ли не чаще, чем полученные в ходе исследования результаты.

Если убрать из текста данного "исследования" все отсылки на цифры, полученные в ходе опросов, оно не потеряет практически ничего.

2.4. Общий вывод по представленным результатам

1. Структура выборки сокрыта покровом тайны, кто респонденты — непонятно. Очевидно, что большинство являются подписчиками фем-пабликов, а вот какова среди них доля БДСМщиков — вопрос.
2. Тезисы крайне слабо подтверждены цифрами, а хоть какая-то их связь с БДСМ-сообществом весьма сомнительна по причине, указанной выше.
3. Большая часть текста ориентирована не на работу с фактами и цифрами, а на эмоциональное воздействие, и по большому счёту является проговариванием авторсокого мнения и установок, к которым цифры привязаны ровно в той мере, в коей они подтверждают изначальную авторскую позицию.

Заключение

Выводы для публикации

1. Тональность опроса очевидно негативная, подобные артефакты очень полезны для моего исследования о стигматизации БДСМ-сообщества.
2. Опрос проводился не в БДСМ-сообществе, а среди подписчиц радфем ресурсов, авторы скрыли, какой процент респондентов хотя бы раз практиковал БДСМ, поэтому продемонстрированные выводы можно с той же эффективностью отнести к аудитории паблика "Феминизм: наглядно".
3. В анкете вопросы с 23 по 31 показывают погоду:
   Во-первых, потому что на них обязаны отвечать даже те, кто вообще не практикует или даже не имеет понятия о предмете (и они ответят лишь свои домыслы);
   Во-вторых, потому что многие из них содержат "наводящие" формулировки
4. Перечень рассматриваемых практик скорее представляет сюжет порнофильма или список фетишей конкретного абьюзера, по вине которого у авторов сложились превратные представления о БДСМ-сообществе, чем реальную попытку проанализировать предпочтения настоящих Тематиков.
5. Статистики и сколь бы то ни было значимых числовых результатов практически не показано, большая часть рассуждений не подкреплена никакими статистическими данными и является вольным пересказом идеологических тезисов, либо личного отношения авторов к БДСМ-сообществу, не зависящего от проведения опросов.
6. Те цифры и статистические данные, что всё-таки приводятся, не несут ключевого значения. Убери их все, и тирада авторов практически не изменится.
7. Авторы не смогли, либо не захотели провести сколь бы то ни было исчерпывающего статистического описания выборки, анализа её структуры и обнаруженных в ней взаимосвязей — или же по каким-то причинам не решились предъявить таковые результаты обществу.

По последнему пункту у нашей команды есть предложение: в случае, если речь идёт всё-таки о банальном неумении обрабатывать результаты опросов, собранных через гугл-формы, недостаточном владении магией спредшитов, пивот-таблиц и аналитических формул, мы можем предложить мастер-класс по этому тонкому искусству — либо предложить авторам обнародовать массив сырых данных, предварительно вырезав из него емэйлы и идентификаторы респондентов, для открытого и беспристрастного изучения.

Понятно, что в случае, если авторы сознательно и намеренно скрывают числовые данные, структуру выборки, корреляции между переменными и так далее, либо банально поленились проанализировать собственные данные, наше предложение становится бессмысленным.