Путеводитель по разработке теста

Каждому преподавателю приходится проверять, как студенты усвоили материал. Компьютерное тестирование — удобный инструмент, особенно когда дело касается массовых курсов. Существует много сервисов для тестирования в интернете: от Гугл-форм до ОнлайнТестПэда.

Университет предлагает своим преподавателям воспользоваться системой тестирования Индиго, которую мы используем уже четыре года. Мы поможем вам подготовить тест, предоставим логины и пароли для студентов, организуем тестирование и выдадим результаты. Фактически, мы возьмем на себя рутинную работу, организацию и техническую поддержку. Студенты смогут пройти тест с любого устройства с современным браузером в то время, которое вы назначили.

Работа будет состоять из трёх этапов:

1. Подготовка, загрузка и апробация теста
2. Тестирование студентов
3. Получение результатов

Нам часто задают вопрос: как сделать так, чтобы студенты не списывали на тестировании. Ответ простой: на сто процентов — никак. Можно уменьшить вероятность списывания несколькими способами: подготовить базу тестовых заданий с избытком, автоматически перемешивать задания и варианты ответов, ограничить продолжительность тестирования и время входа в тест. Все эти возможности (и множество других) есть в системе тестирования Индиго!

Подготовка, загрузка и апробация теста

Подготовьте тест в формате .doc и оправьте на адрес центра тестирования test@psu.ru. В теме письма напишите «Тест, название теста, Фамилия». Мы загрузим тест в систему тестирования, проверим корректность обработки, зададим все нужные настройки и дадим вам пройти тест и проверить, что всё сделано правильно. Эта работа занимает время, поэтому чтобы обеспечить качество тестирования, мы просим высылать новые тесты заранее, за 2-3 дня до тестирования. Тест можно использовать неограниченное количество раз, он будет храниться до тех пор, пока вы не попросите нас его удалить. Требования к каждому новому тесту вы найдете ниже.

Тестирование студентов

Заявки на тестирование принимаем по электронной почте. Нам нужно знать дату и время тестирования, количество попыток и индексы групп, проходящих тестирование. Стандартное время, когда тест будет открыт – одна пара. Обычно мы назначаем две попытки тестирования, но предупреждаем студентов, что у них есть только одна попытка тестирования. Вторая попытка дается только при технических проблемах - разрыве связи с интернетом или отключении питания.

Пример текста самой простой и понятной заявки:

Биология(КТ2) 18 апреля 15-00 — 17-00 БЛ/О БИО-1,2-18НБ, БЛ/О БИО-3,4-18НБ

Если тест добавлял другой преподаватель (например, ваш коллега с кафедры), нам нужно, чтобы он отправил нам письмо с вашей фамилией и адресом электронной почты: мы не назначаем чужие тесты без согласия автора.

Далее мы высылаем вам пароли для студентов, которые вы распределяете среди студентов (лучше делать это через старост групп или УВП кафедр, не выкладывайте весь список паролей в открытый доступ). Студенты заходят на сайт test.psu.ru и там тестируются (можно отправить им ссылку на инструкцию).

Результаты

Утром следующего рабочего дня, после дня тестирования (если есть срочность – дайте знать, отправим раньше) мы высылаем вам на почту результаты теста: количество и долю верных ответов пофамильно. По вашему запросу мы предоставим подробную расшифровку по каждому студенту (подходит для апелляций) и статистику по тесту (покажет, какие задания и темы решаются лучше, какие ответы чаще дают студенты, позволит скорректировать тест и содержание дисциплины).

Подготовка теста кратко описана в этом видеоролике

Рекомендации по составлению тестовых заданий:

·      Формулируйте задание однозначно и лаконично. Воздержитесь от дискуссионных вопросов и сложных смысловых конструкций: главная цель — отличить студентов, которые усвоили предмет, от тех, кто с работой не справился. Хорошие тестовые задания должны давать как можно меньше ложноположительных и ложноотрицаельных результатов.

·      Самый удобный вид тестовых заданий — с выбором одного правильного ответа. Если в задании более чем один верный ответ — укажите это в формулировке (например: выберите два верных утверждения).

Описание файла теста

Подготовьте тест, используя заготовки из нашего шаблона. Сохраняйте синтаксис шаблона: задания необходимо отделять друг от друга пустой строкой, нельзя использовать автоматическую генерацию списков. Количество заданий в файле теста может превышать количество заданий, выдаваемых студенту, в таком случае выборки, получаемые студентами, будут разными. Кроме того, тест можно делить на категории, указав, по сколько вопросов из каждой категории студент получает в выборке.

Тест «Основы тестирования (Контрольная точка 2)»

Кафедра зоологии растений, Петров Н.Ф.

30 заданий (из 60), время — 30 минут.

Продолжительность тестирования обычно подбирается эмпирически, например по минуте на задание. Лучше всего работают такие тесты, в которых у испытуемого нет лишнего времени. Хорошие студенты решат тест быстро, лишнее время даст возможность списать или обменяться ответами тем, кто не готов к тесту.

Типы тестовых заданий.

1.Вопрос с выбором одного варианта ответа. Правильный ответ помечается символом звездочка:

Выберите правильный вариант

*Правильный вариант

Неправильный вариант

Неправильный вариант

Неправильный вариант

2.Это такой же вопрос, но с картинкой (с выбором одного варианта ответа). Картинка просто вставляется в документ.

Какой из вариантов правильный?

*Правильный вариант

Неправильный вариант

Неправильный вариант

Неправильный вариант

3. Если изображения, формулы (специальные символы, которых нет в Юникоде) и форматированный текст необходимы в вариантах ответа, то лучше всего вопрос оформить с помощью таблицы (ещё лучше сначала сверстать таблицу, потом превратить её в картинку). Формулы можно вставлять картинками или набирать в любом математическом редакторе, встраиваемом в Word (MathType или редактор формул). Вопрос будет выглядеть так:

Укажите формулу суммы арифметической прогрессии:

*A

B

C

D

4. Вопрос с выбором нескольких вариантов ответа. Правильные ответы помечаются символом решетка #.

Выберите правильные ответы (три ответа)

# Правильный вариант

# Правильный вариант

Неправильный вариант

Неправильный вариант

# Правильный вариант

Неправильный вариант

5. Вопрос с вводом ответа с клавиатуры. Их желательно избегать, потому что нужно продумывать все варианты опечаток и синонимов. Правильный ответ обрамляется в квадратные скобки [ответ]. Тип ввода определяется автоматически (числовой или текстовый). Для чисел с плавающей точкой в качестве разделителя дробной части может использоваться точка или запятая, можно указать диапазон чисел. Регистр символов не учитывается. Сомнительные буквы можно заменить точкой, и даже оставить от слова только корень: тогда не придется переживать, в каком числе и падеже студенты будут вводить ответ

Введите правильный ответ

[эталонный ответ|правильный ответ|правильн|прав.льн]

6. Задание на установку соответствия. В каждой строке указывается пара «фиксированная строка = вариант ответа». Если варианты ответа повторяются, то они будут считаться одним вариантом ответа. Если необходимо, чтобы число вариантов ответа было больше числа фиксированных строк, то необходимо использовать ввод оставшихся вариантов ответа без фиксированных строк: «= вариант ответа».

Выберите правильный перевод

wall = стена

window = окно

bath = ванна

door = дверь

= балкон

= крыша

7. Расстановка в нужном порядке. Элементы упорядочивания размещаются в правильной последовательности без использования каких-то специальных символов.

Расположите в хронологическом порядке имена правителей Руси:

Владимир Мономах

Александр Невский

Иван IV Грозный

Пётр I Великий

Екатерина II Великая

Не используйте варианты ответа, «все ответы верны» или «все ответы неверны», лучше сделайте задание с множественным выбором и придумайте несколько дистракторов. Уберите знаки препинания в конце варианта ответа. Хороший тон – вынести словесную конструкцию в содержание задания, например:

На картинке изображена упаковка бикарбоната

*Натрия

Калия

Кальция

Стронция

Для подготовки тестов можно использовать старые базы тестовых заданий, разработанные АСТ-центром (2011 год), там есть достаточно много разных дисциплин. Многие из заданий наверняка устарели, формат достаточно сильно отличается и того, что используем мы. Тем не менее, часть этих заданий наверняка можно позаимствовать, чтобы упростить подготовку тестов https://drive.google.com/open?id=1M7gmvk9jPirCv_apzal-x4uN50Tqi-W1

___________________________________________________________________

ВОТ ПРИМЕРЫ ТОГО, КАК ДЕЛАТЬ НЕ НУЖНО

1. Введите определение понятия «математическое ожидание»

[среднее значение случайной величины при стремлении количества выборок или количества её измерений]

Разумеется, решаемость вопроса будет нулевой.

2. Кто из перечисленных героев сериала «Улицы разбитых фонарей не носит пальто и широкополую шляпу»?

#Дукалис,

Казанова,

#Мухомор,

#Волков,

#Ларин.

Ответ очевиден, но большинство студентов не отметит кого-нибудь, тогда ответ будет зачтен как неверный. Правильный вариант оформления напрашивается: задание с выбором одного ответа и формулировкой "наоборот". Само собой, знаки препинания в вариантах ответа нужно удалить.

3. Является ли эрстед единицей измерения напряженности в системе СГС?

*да

нет

Вероятность угадать, не зная правильного ответа – 50%. Такая формулировка вопроса больше подойдет для викторины.

4. Выберите правильное определение

*Норма права — это общеобязательное, формально определенное правило поведения, гарантируемое государством, отражающее уровень свободы граждан и организаций, выступающее регулятором общественных отношений.

Норма права — это общеобязательное, формально определенное правило поведения, гарантируемое государством, отражающее уровень свободы граждан и организаций, выступающее регулятором общественных взаимодействий.

Норма права — это общеобязательное, формально определенное правило поведения, гарантируемое государством, отражающее уровень свободы граждан и организаций, выступающее регулятором общественных договоренностей.

Норма права — это общеобязательное, формально определенное правило поведения, гарантируемое государством, отражающее уровень свободы граждан и организаций, выступающее регулятором общественных формальностей.

Громоздкое определение нужно вынести в формулировку вопроса, оставив в вариантах ответа только вариативную часть

Описанный в тексте способ взаимодействия, когда мы загружаем подготовленные вами тесты, назначаем тестирование и отправляем на почту результаты — это базовый способ работы с системой тестирования ПГНИУ, которым пользуется большинство преподавателей. Если у вас есть желание самостоятельно оформлять тесты в Indigo Test, вы можете присылать нам готовые тесты в формате .itest, мы проверим их и добавим на сервер. Наконец, мы можем предоставить вам данные для самостоятельного администрирования: напишите нам письмо по образцу (мы можем попросить вас отправить заявку через электронный документооборот с ЕТИС, если раньше с вами не работали).

Мы рады ответить на ваши вопросы: test@psu.ru

Для быстрой связи звоните 2-396-675, пишите в телеграм t.me/avtiunov

Подпишитесь на наш технический блог в Телеграме, где мы публикуем информацию о мероприятиях, новинках и обновлениях!