Про результаты эксперимента с промо в Penguin Rescue
@devmygameНаше решение: сбор статистики для эксперимента
Сравнивать показатели по разным промо можно не только с их предыдущей версией, но и со средними показателями в категории «Игры». Могут пригодиться сервисы типа AppFollow: за месяц они собирают данные по каждой платформе (iOS и Android) с разбивкой по категории и показывают средние показатели конверсии, а также максимальные и минимальные. Эти сведения позволили нам определить, что считать нормой в рамках эксперимента.
Будут полезны не только статистические сервисы, но и те, которые делают машинное комбинирование разных кусочков промо. Они формируют различные сочетания иконок, скринов, других промо, подставляют на страничку приложения и автоматически выбирают оптимальное. Это достаточно дорогое удовольствие, поэтому мы проводим меньше экспериментов и меняем один-два материала за эксперимент. А статистику ведём просто в табличке в Excel. В ней для каждого эксперимента достаточно скопировать формулу для первой иконки и поменять сами данные.
К сожалению, никак нельзя посмотреть разбивку данных по источникам трафика для разных типов устройств (телефон или планшет). А это было бы очень полезно. Дело в том, что видео в приложениях почему-то плохо воспроизводятся на iPad. Эта проблема возникает у многих, несмотря на то, что наше видео соответствует техническим требованиям Apple. В одном из экспериментов мы его вовсе убрали, но узнать, дало ли это какой-то эффект, сказать сложно.
Лайфхак: как собрать данные быстрее
Сбор статистики в нашем случае получился долгим, потому что мы не льём трафик на «Пингвинов», а органики приходит 20-30 человек в день. Пришлось ждать целый месяц, чтоб получить материал для анализа. Если хотите ускорить процесс, закупайте трафик: помимо самого объёма закупки, она приводит ещё 30-50% органики.
Показатели до эксперимента
Если смотреть по играм в среднем, то почти все наши показатели были в норме. Кроме поиска, основного канала трафика. Они были не минимальными, но всё-таки ниже среднего. Поэтому мы и решили провести эти эксперименты с промо.
Что мы поменяли?
Во-первых, иконку. Она не может влиять на показы, а вот на конверсию – определённо. Во-вторых, скриншоты. Раньше у нас были горизонтальные скрины, на страничку помещался только один. Для эксперимента мы сделали их вертикальными, теперь на странице приложения их отображается три. В-третьих, мы убрали видео с версии для iPad. Мы собирали статистику 30 дней, чтобы данные по количеству показов и просмотров страницы были статистически значимыми.
Показатели после эксперимента
Наш эксперимент привёл к снижению всех показателей на 20-25%. Например, конверсия из показов в установки упала на 30%. Остальные показатели за счёт этого падения стали ниже нормы, среднего показателя по играм. По статистике, конверсия из просмотров страницы в установки тоже упала, а это главная конверсия для приложения.
Возможные причины ухудшения показателей
Точные причины пока что сложно обозначить. Но мы можем строить гипотезы. Дело не в среднем рейтинге, потому что он всегда был на хорошем уровне (4,5- 4,7 в зависимости от страны). То же самое касается отзывов. Возможно, новая иконка и скриншоты не настолько успешно демонстрируют приложение, как те, что были раньше. Очень вероятно, влияет иконка: она показалась игрокам не такой привлекательной, как прежняя.
Дальнейшие этапы эксперимента
Мы будем продолжать экспериментировать только с иконкой. Данные будут чище, и мы сможем с большей вероятностью сказать, в ней причина ухудшения метрик или нет. Возможно, мы даже будем делать эксперименты со скринами. Как только у нас появятся свежие данные, обязательно расскажем о них.