4 этапа разработки профтеста

Вчера на вебинаре мы рассказывали про разработку профтеста – теста профессиональных знаний. Мы подготовили небольшое резюме нашего диалога и постарались отразить в нем ключевые мысли.

Разработка теста происходит в 4 этапа:

1. Подготовительный.

Определяем область тестирования, глубину и структуру оцениваемых знаний.

2. Авторский цикл 

Формируем вопросы на основании обозначенных на первом этапе тем.

·      Вопросы должны быть: 

лаконичны;

просто сформулированы;

обращать внимание на суть.

·      Ответы должны быть:

равнозначно привлекательными; 

не содержать альтернативных правильных ответов (если это не множественный выбор);

правильный ответ не должен выделяться (быть длиннее или по-другому сформулирован).

3. Проведение пилотного тестирования

Выборка должна быть:

·      Валидной. Респондентами для пилота должны стать представители группы, для которой предназначен тест.

·      Репрезентативной. Количество и состав респондентов должны отражать структуру целевой группы (не брать только самых "слабых", или только "самых сильных", или только "самых не занятых").

4. Аналитический этап

Для статистического анализа и дальнейшей коррекции теста подсчитываем и оцениваем показатели:

·      Надежность тестирования – степень отражения тестом реальных различий.

·      Дискриминативность вопросов – степень, в которой вопрос отличает людей с высоким тестовым баллом, от людей с низким.

·      Сложность вопросов – процент правильных ответов.

·      Объективность теста – независимость результатов теста от групповых различий.

·      Валидность - насколько тест можно применять для определенных целей и насколько он измеряет то, для чего он предназначен.

·      Внутреннюю структуру теста - теоретическая и эмпирическая структуры теста должны совпадать.

·      Корреляцию результатов теста с другими потенциально связанными показателями (например, связь знаний по «Управлению персоналом» с оценкой эффективности этого сотрудника его руководителем).

Если вам интересно глубже изучить тему разработки профтестов, рекомендуем прочитать эти книги.

·      Фер Майкл, Бакарак Верн — «Психометрика. Введение»

·      Шмелев А.Г., Столин В.В. – «Практикум по психодиагностики. Дифференциальная психометрика»

·      Российский стандарт тестирования персонала

Еще больше полезных публикаций по теме профессионального развития на канале @ProfDevelopment → https://t.me/profdevelopment