Пример применения Response-Process Evaluation (RPE)

Пример применения Response-Process Evaluation (RPE)

Психометрика и психоскептика


Написано по статье: Wolf, M. G., Ihm, E., Maul, A., & Taves, A. (2025). The response-process-evaluation method: A new approach to survey-item validation. Advances in Methods and Practices in Psychological Science8(3), 25152459251353135.


Шаг 0. Исходное утверждение и заданная (intended) интерпретация

Утверждение опросника: «Я часто чувствую, что контролирую ход событий в своей жизни»

Заданная интерпретация исследователя акцентирует внутренний локус контроля как психологическую установку, т.е. устойчивое субъективное ощущение собственной агентности, а не объективно достигнутый успех, вроде статуса и денег, и не внешнее принуждение.

Это описание фиксируется письменно и используется как эталон для кодирования.

 

Шаг 1. Обычный ответ + вопросы (probes)

Респондент сначала отвечает, как в обычном опросе, например, по шкале 1–7.

Допустим, дан ответ 6 – «Скорее согласен»

После этого включается RPE-часть – короткий набор probe-вопросов.

Обязательные типы probe-вопросов:

- Переформулировка (comprehension probe): «Можете своими словами сказать, о чём это утверждение?»

Респондент отвечает, например: «Ну, про то, что у меня всё более-менее под контролем: работа, деньги, планы»

- Обоснование ответа (reasoning probe): «Почему вы выбрали именно этот вариант ответа?»

«Потому что у меня стабильная работа, я сам(а) принимаю решения и редко завишу от других»

- Конкретизация (example probe): «Можете привести пример ситуации, которую вы имели в виду?»

«Например, я сам(а) решаю, куда ехать отдыхать или менять ли работу»

 

Шаг 2. Анализ интерпретации

Что респондент посчитал объектом вопроса, в сравнении с заданной интерпретацией?



Критерий Есть / нет

Субъективное чувство агентности частично

Устойчивость (trait, а не ситуация) нет

Отделение от ресурсов / статуса нет

Локус контроля как психологическая установка нет

Респондент понимает вопрос как «у меня хорошие условия работы», а не как психологическое убеждение о своем влиянии на события.


Шаг 3. Кодирование ответа (central piece RPE)

Каждый ответ кодируется по категории интерпретации.

Основные категории кодов

  1. Intended interpretation - Респондент понимает пункт так, как задумано.
  2. Partially intended - Улавливает часть смысла, но с системным смещением.
  3. Unintended interpretation - Понимание принципиально иное.
  4. Unclear / insufficient - Недостаточно информации для вывода.

В нашем примере присваивается код «Partially intended», т.к. есть идея контроля, но контроль понимается как объективные условия жизни, а не психологическая установка.

 

Шаг 4. Повторение на малой группе (n ≈ 5)

Допустим, из пяти респондентов двое поняли утверждение частично верно, двое понял его абсолютно неверно, и только один в точности так, как задумывалось.

Вывод: утверждение не проходит порог валидности интерпретации.

 

Шаг 5. Диагностика типа проблемы

В нашем примере выявляется смещение в сторону ресурсов («работа, деньги») и власти над другими. Значит, проблема утверждения заключается в том, что объект контроля плохо определен.

 

Шаг 6. Переписывание пункта (item revision)

На основе интерпретаций утверждение переформулируется в: «Я обычно чувствую, что мои действия влияют на то, как складываются события в моей жизни, даже если события неблагоприятны».

 

Шаг 7. Вторая итерация RPE

Проводится новый цикл с новой группой (ещё 5 человек), до тех пор пока переформулировка не даст 80%-ного согласия и совпадения с задуманной интерпретацией.

 

Шаг 8. Документация

Отчет включает:

  • исходную формулировку,
  • описание intended meaning,
  • типы ошибочных интерпретаций,
  • финальную версию,
  • долю корректных интерпретаций,
  • примеры реальных ответов респондентов.





Report Page