Про эксперименты с промо в iOS-версии «100 к 1»

Планирование эксперимента

Особенность iOS – промо можно заливать только с новой сборкой. Поэтому, если хотите проверить несколько единиц промо (скажем, не только иконку, но и скриншоты), готовьтесь делать два билда, которые будете выливать с определённым временным промежутком. Если тестировать и скриншоты, и иконку, результаты могут получиться смазанными: будет непросто понять, что именно привело к росту или снижению показателей.

Наше решение

Кое-что о начале эксперимента мы рассказывали летом. Наше предположение было таким: «100 к 1» привлечёт больше игроков, если на иконке будет изображён какой-то персонаж. Викторина прочно ассоциируется с Александром Гуревичем, поэтому мы нашли несколько фото с ведущим и отдали вместе со своими пожеланиями художнику. В итоге получили узнаваемый шарж, который разместили на иконке.

Опрос игроков в группе «Одноклассников»

Прежде, чем запускать тестирование нового промо в App Store, решили показать иконку игрокам в группе в «ОК». Там же устроили опрос, какая из иконок больше нравится аудитории. С перевесом в 75% победил старый вариант иконки.

Запуск эксперимента в App Store

Несмотря на результаты голосования в «ОК», мы всё же решили протестировать новую иконку в сторе. Обновление появилось в магазине приложений 18 сентября. Кроме новой иконки, в обновлении были свежие скриншоты с более крупным шрифтом и красным фоном подписей на скриншотах вместо зелёного. 

У внимательного читателя возникает логичный вопрос: почему же мы тестировали два вида промо одновременно? Дело в том, что эксперимент в этом случае растянулся бы на долгое время, а сейчас мы работаем только с органическим трафиком. Ежедневно в игру приходит 500 человек – это неплохой показатель, но для анализа желательно иметь несколько большие объёмы.

Итоги эксперимента

По прошествии двух недель мы изучили статистику: вопреки ожиданиям, метрики стали хуже. Почему наша гипотеза не подтвердилась? Ответ на этот вопрос узнаете из следующего поста.