1231
Как данные помогают строить продукты. Олег Якубенков
Работает в Facebook, занимается аналитикой в подразделении корпоративных продуктов. До того отвечал за аналитику в компаниях MSQRD и Zeptolab, был директором по продуктам в API.AI. Руководил группой аналитиков в Яндексе. Автор блога gopractice.ru.
Ссылка на интервью
Какие есть методики понимания пользователей и продукта?
Когда мы начинаем создавать новый продукт или когда мы разбираемся в существующем, то мы очень мало знаем про его картину мира. Нам нужно практически с нeля разбираться с этим.
Два способа разобраться с продуктом: 1. Общаться с пользователями
2. Играться с данными
Чтобы понять продукт, нужно проводить эксперименты. Говорят, что чем больше экспериментов, тем лучше. Расскажи про свой опыт.
Неправильно во что бы то ни стало проверять как можно больше гипотез. Так вы будете проверять кучу мелких и неважных изменений.
Для молодой компании важно снимать ключевые риски. Они лежат в основе бизнеса и именно их нужно минимизировать путем экспериментов. Играться с цветом и размером кнопки позволительно только зрелым компаниям.
Пример из реального сектора: нефтедобывающая компания проверит наличие нефти на местности прежде чем строить там инфраструктуру.
Пример из интерес-бизнеса: сначала проверяем наличие спроса и оцениваем размер аудитории перед разработкой сложного продукта. Для этой задачи подходит
MVP.
Ты рассказал, что надо проверять только ключевые гипотезы. Мы работаем в условиях неопределенности. Что делать, если ты не получил все ответы?
1. Если вы не получили все ответы в эксперименте, значит вы неправильно его спроектировали.
2. У вас никогда не будет 100% данных, иначе вы бы уже были миллиардером.
Эксперименты и данные позволяют вам эту определенность уменьшать. Нужно всегда находить способ дешево и быстро проверить гипотезу перед разработкой. Разработка в продукте — эта всегда узкое место. Это верно для продуктов всех размеров.
Проблема: когда люди узнаю про эксперименты, то они начинают экспериментировать со всем. Вы должны быть уверены, что эксперименты будут статистически значимы. Отталкивайтесь от размера аудитории.
Как провести грань между MVP и позорищем, которое нельзя показывать?
Степень позорища продукта определяет лишь размер аудитории на которую его можно выкатить.
Расскажу про игровой бизнес. Здесь успешные продукты-игры недолго занимают рынок в отличие от классических интернет-продуктов. Работая над играми вы быстро учитесь отметать плохие проекты и оставлять хорошие. Всегда стоит вопрос: мы убиваем сырую игру или продолжаем развивать?
Общий принцип игростроения на примере ZeptoLab:
1. Накидываем идеи. Игры придумывать легко. Идей много.
2. Свободная команда выбирает идею или придумывает свою. Это тоже фильтр для проектов.
3. Делаем прототип и пытаемся в него поиграть. Здесь много игр, которые были прекрасны на бумаги,отправляются в корзину.
4. Тестируем спрос на игру. Закупаем трафик и нагоняем на лендинги с разными макетами.
5. Превращаем прототип в подобие игры и даем поиграть команде и сторонним игрокам.
6. Запускаем игру на маленьком рынке.
7. Делаем глобальный запуск. Прорабатываем маркетинг и PR. Эта дорогостоящая работа делается на проверенном продукте.
Смысл в том, что на каждом этапе игра уже запущена на разную аудитории. Мы видим вокруг много крутых и сложных продуктов, но в реальности они все потихоньку росли и развивались.
Как привлекать пользователей, когда на рынке игр становиться больше
предложений?
Рынок взрослеет и сложнее конкурировать за пользователя. Игровым компаниям сложно защитить свою долю. Они могут только пытаться выпускать хиты и оставаться на плаву.
Какие продукты требуют заливки трафика? Как понять когда остановить закупку?
1. Все продукты требуют заливки трафика. Про это нужно думать с самого начала, иначе продукт умрет.
2. Если закупка трафика приносит только убытки, то перестаньте закупать. В редких случаях компания может себе позволить закупать пользователей в “минус”, но это должен быть продуманный шаг.
Что такое продуктовая аналитика?
Продуктовая аналитика — это попытка описать продукт с помощью модели, которая затем характеризуется метриками. У каждого члена команды свое представление о продукте и задача менеджера, аналитика и команды его синхронизировать.
Какие главные продуктовые метрики?
1. Метрики определяют после определения планов.
2. На разных этапах жизни продукта метрики тоже разные. На самом раннем этапе жизни продукта хватит только ретеншена. Остальное вы будете чувствовать на уровне интуиции.
3. У разных продуктов будет разная ключевая метрика.
За какими метриками нужно постоянно следить?
Таких метрик нет. На каждой стадии продукта разные метрики.
Пример: не нужно смотреть на оценки игры в AppStore, когда она в софт-лонче. Скрывайте ненужные метрики от команды.
Какие есть подходы к построению дешбордов?
Перед разработкой поймите зачем он нужен. Кто его аудитория и на какие вопросы он будет отвечать?
Если на дешборде для команды будет метрика конверсии в продажу, которую тяжело подвинуть, то это будет демотивировать. Разработчики будет медленнее писать код и станет еще сложнее подвинуть эту метрику.
Для себя сделайте другой дешборд.
Есть мнение, что игры для детей. Откуда у них деньги? Как игроделы зарабатывают?
Молодая аудитория хуже платит. Игры живут за счет маленькой аудитории, которая платит большую часть денег.Казуальные игры живут на рекламе.
На какие метрики вы смотрели, когда меняли стратегию развития King of
Thieves?
После 1.5 лет разработки мы закупили трафик за $2.5, а получили несколько центов дохода. Мы смотрели на стоимость привлечения игроков и их ретеншн.
1. Проанализировав как люди играли, мы изменили модель обучения в игре.
2. Изменили систему рейтинга. Мы отказались от общего рейтинга игроков, т.к. продвинуться с 2983 места на 10пунктов вперед слабо мотивировало. Взамен была введена система лиг, где соревноваться было интереснее.
Есть ли метрики для групп продуктов? Есть ли чек-лист для выбора метрик?
Возможно, есть пул из которых можно выбирать метрики. Но всегда пытайтесь найти метрику, которая точно подойдет под ситуацию. Поговорите со всеми в компании. Поймите их цели, что для них важно. Затем выберете метрику.
Есть ли эталонные показатели для метрик в игровой индустрии? Как узнать показания конкурентов?
Уменя есть понимание бейслайнов. Оно сложилось из опыта. Вы всегда можете найти в открытых источниках размер аудитории крупного проекта и высчитать из этого другие метрики.
Также вы можете купить данные у App Annie, но это дорого.
Расскажи про сегментацию и когортный анализ.
Когорты анализ — это сегментация по периоду времени в который пользователи пришли в продукт. Этим инструментом хорошо сравнивать старые и новые версии продуктов.
Самые главные проблемы при когортном анализе кроются в идентичности аудитории.
Видеале у вас должны быть одинаковые пользователи: из той же страны, на той же операционной системе, с теми же внешними условиями.
Что за Retention? Почему он важен?
Когда кривая ретеншена пересекает 0, то все пользователи ушли. Так происходит практически для всех продуктов.Это формирует потолок роста и он определяется количеством привлеченных людей в продукт.
Есть продукты с параллельными кривыми ретеншена. Это неограниченные алмазы. Будущие компании на миллиард.
Например, для мессенджера пологий ретеншн означает, что можно нагонять трафик
вначало воронки и с высокой долей вероятности пользователи будут оставаться. Для сервисов знакомств ретеншн будет быстро уходить в ноль и это нормально.
Retention — это фундамент для роста. Сначала надо решить проблему ухода пользователей, а затем как их лучше привлекать.
P.S. Забудьте про rolling retention
Расскажи про случаи, где неправильно интерпретировали метрику?
Бывает так, что сложно получить статистически значимую метрику из-за малого объема пользователей.Приходится идти на риск.
ВKing of Thieves мы случайно создали инфляцию игровых ресурсов. Мы внесли простое изменение в продукт после жалоб, но не рассчитали его влияние. Пришлось забрать у людей игровую валюту. Все метрики упали и мы получили тонну негатива. Хорошо, что у на тот момент у нас была маленькая аудитория и урон по репутации игры был небольшой. После этого в модели нашей игры появилось понятие инфляции.
После первого запуска нужно было что-то менять в игре. Это все понимали. Я драйвил изменение, чтобы повысить цены в игре в 10 раз. Мы изменили настройки на сервере и метрики активности игроков резко поползли вниз.Поднялась паника. Оказалось, что после этого обновления эвенты перестали поступать в аналитику и метрики просели.
Мы запускали игру в Китае через партнеров. Они высылали нам статистику. На графиках было видно как вечером в Китае был резкий обвал активности юзеров. Мы подняли китайский офис, чтобы разобраться в этом. В действительности все было нормально. Оказывается игроки в Китае резко идут спать, в отличие от игроков в Европе. Но на графиках это выглядело как жуткое падение.
Как оптимизировать воронки?
Частая проблема на ранней стадии продукта — это оптимизация воронки. На самом деле ее нужно менять.Оптимизировать нужно уже работающую воронку. Это будет отъедать большую часть вашего времени.
Как быстро понять почему падают метрики?
Обычно это связано с последним апдейтом в продукте. Анализируйте его. Сложнее, если вы ничего не меняли.
Вapi.ai я столкнулся с падением конверсии в продажи. Чтобы разобраться в этом, мы потратили несколько недель.Оказалось, что у нас упало качество распознавания голоса. Сложно сделать метрику на этот показатель и у нас ее не было, поэтому мы ничего не заметили. Мы даже не задумывались, что это так сильно влияет на конверсию.Выдвинули гипотезу, что если мы будем улучшать распознавание голоса,
то можем повысить конверсию. Рассмотрите идею с ухудшающим экспериментом для маленькой доли пользователей. Так вы поймете важность фичи перед тем как инвестировать в разработку.
Расскажи как ты изучал “хороших” пользователей в King of Thieves и переносил их опыт на других игроков. Как этот подход масштабировать на другие продукты?
Это работает для любых продуктов. Важно отличать какие факторы в продукте влияют на поведение пользователей. Выберите нужный сегмент людей и найдите факторы, которые коррелируют между собой.
Например, люди, которые подключили Facebook в игре, лучше покупают.
Составьте список коррелирующих вещей у “хороших” пользователей. Проведите несколько экспериментов, в т.ч.ухудшающих, чтобы понять на каких факторах стоит сфокусироваться.
В блоге ты писал, слово “нет” — самое главное для продакт менеджера. Почему?
Моя первая реакция на предложение что-то сделать — это “нет”. Меня нужно уговорить что-тосделать.
Вреальной жизни вы пользуетесь молотком для одной задачи, а отверткой — для другой. Соединить эти вещи кажется не самой лучше идеей.
Вцифровых продуктах кажется, что объединить одну вещь с другой кажется логичным шагом. Но это выливается в затраты на разработку и поддержку. Также вы усложняете продукт, тем самым затрудняя вход новым пользователям.
Но бывает, что много фичей — это хорошо. Посмотрите на операционные системы.
Как подойти к ценообразованию крутого продукта?
Если у вас крутой продукт, то вы уже знаете ответ на этот вопрос. Крутой продукт уже имеет аудиторию, понятные каналы привлечения, приносит пользу и уже продается. Для крутого продукта актуален вопрос масштабирования.
По поводу ценообразования — ставьте завышенную цену. Всегда успеете скинуть.
Кто такой хороший продакт менеджер?
Вмоем понимании хороший продакт берет имеющееся количество ресурсов и использует их максимально эффективно.
Идеальный продакт обладает:
Экспертизой в том, что делает. Учитесь быстро ее нарабатывать. Широким кругозором.Должен знать куда копать, в разных ситуациях.
Опытом. Читайте кейсы других продуктов и бизнесов. Создавайте пет-прожекты.
Как ты сам развиваешься?
1. Читаю книжки
2. Общаюсь с людьми, которые готовы делиться опытом
3. Делаю свои проекты
Что стоит проверять в сервисах аналитики?
Перед тем, как делать выводы проверяйте достоверность данных. Я сам проверяю что, как и куда отправляется.
Прокачиваешь ли ты навыки продаж?
Мы каждый день продаем мысли, идеи и презентации. Мне это не нравиться, но я заставляю себя прокачивать этот навык.
Как в проверке гипотез выйти на ранних последователей и на основную массу пользователей?
Эта модель пытается описать реальный мир, но не стоит перекладывать ее вслепую. Необязательно, что первые пользователи относятся к ранним последователям.
Source: Telegram @mrtsn
#yandex/school/productmanager