Тестирование дизайна на Я.Толока

Тестирование дизайна на Я.Толока

@soloveev


На прошедшем Я.Субботнике исследователь Тая Самарева рассказал как они организовали тестирование дизайна через Я.Толока. Я.Толока - это открытый сервис микрозаданий, куда заказчики могут выкладывать различные задания - от распознавания аудио и картинок до опросов, и большая панель фрилансеров быстро их выполняет.

В Яндексе Толоку используют как ОБЯЗАТЕЛЬНЫЙ инструмент для теста дизайна. Ни одно важное обновление не обходиться без теста на нем. Это не отменяет все остальные виды тестов, но тестирование на Толоке внедрили в работу дизайнеров.

Как это происходит и для каких целей это используется?

1. Тестирование Side By Side

Попарное сравнение изображений. Сравнение старого и нового варианта. Сравнение 2-4 новых вариантов между собой.

2. Что можно тестировать:

  • Иконки
  • Тексты баннеров, контекстной рекламы
  • Тексты внутри интерфейса
  • Названия меню (Тая расказывала о тесте названия Каталога на главном экране Яндекс Денег - "В каком разделе бы вы стали искать..."
  • Баннеры
  • Промо, иллюстрации, подложки
  • Элементы в интерфейсе (Тая приводила пример, как они просили пользователей на скриншоте Я.Карт кликнуть на трамвайные пути и смотрели, чтобы пользователи не перепутали их с железнодорожными)
  • Интерфейсные гипотезы (напр. представление поисковой выдачи или виджета Я.Переводчика в выдаче Яндекса, но не взаимодействие с интерфейсом)

3. Что тестировать не стоит:

  • Функциональность интерфейсов (Пользователь глазами не может оценить удобство интерфейса. Пользователь "думает пальцами", а не глазами. Поэтому если он увидит напр. крупную кнопку в интерфейсе, то может сделать неправильный вывод, что раз туда ее поставил дизайнер, значит так удобнее. Когда на очном тесте он бы спокойно пролистал страницу и убедился бы, что кнопка "Листать вниз" не нужна).

4. Как тестирование встроено в процесс

  • В команде договорились, что берут в работу тот вариант, который занял на тесте 1 (ну или 2-ое место, если изображений больше 3). Без такой договоренности тестирование бессмысленно. Бывали случаи, когда дизайнеры заносили задачу на исследование и все равно брали тот вариант, который занял последнее место, потому что он им больше нравился.
  • Тест занимается меньше дня. Небольшие задачи тестируются за пару часов. Дизайнер может сам запрограммировать тест, уйти на обед и при возвращении увидеть результаты.
  • При тестировании учитывайте аудиторию Толокеров. Обычно это жители регионов (при работе на Толоке можно заработать от 5 до 15 тысяч). Это пользователи социальных сервисов (Поиск, Музыка, Картинки, Почта и т.д.) и их имеет смысл тестировать. Вы не найдете на Толоке ИП, пользователей бизнес-сервисов. Думаю пользователей электронных кошельков найти можно, потому что это инструмент для получения денег при работе в интернете. Пользователи Я.Денег думаю там точно есть.
  • Можно запустить скрининг.
  • Яндекс тестирует на больших выборках. До 4000 на тест. Средняя задача: 400 человек, 3-4 часа, 2-3 варианта выбора.
  • Цену вы можете назначать сами (ниже мой пример).
  • Инструмент так прижился в компании, что ни один важный элемент на главной не принимается без теста на Side By Side.
  • Для очистки читеров и кликеров вместо одной из картинок позывает "порченную". Напр. где шрифты заменены на крокозябры. И исключаем людей, которые выбрали ее как лучшую. В Яндексе это называют Golden Set.

5. Мой пример

Я тоже провели субботник и в эту субботу протестировал два дизайна пластиковой карты QIWI.

На сбор ответов у меня ушло меньше 3 минут. Я собрал 100 ответов. Цена - 2 цента за ответ. Один вопрос в анкете. Все пользователи из России.

Результаты похожи на тесты с нашими пользователями. Черную карту пользователи выбирали на предыдущих наших тестах.

6. Как сделать задание

Разобраться в Толоке можно, достаточно продраться через интерфейс, кучу инструкций и обладать пониманием html.

Чтобы не запутаться используйте пример:

https://yandex.ru/support/toloka-requester/concepts/categorization.html


Дима Соловьев, QIWI


Выступление Таи начинается на 2.50.30