Пирамида метрик
Pm c 0 до Junior за 9 месяцев
Что такое метрики
Метрика — это качественный или количественный показатель, который отражает ту или иную характеристику и уровень успешности продукта.
Чтобы создать приложение или сервис, одной идеи мало. Нужно измерять и анализировать показатели, исследовать реакцию пользователей и дорабатывать продукт. Для этого и придумали метрики.
Количественные показатели проще отслеживать, поэтому они используются чаще. На основании этих чисел можно делать выводы о том, что вообще происходит: нужен ли такой продукт пользователям, насколько он им нравится, решает ли их проблему. Например, вы создали приложение, которое сообщает автомобилистам о ситуации на дорогах. Кажется, что идея хорошая, продукт нужный, а люди всё никак не хотят им пользоваться. Как понять, в чём проблема? Что-то не так с идеей, а может, вы ошиблись с аудиторией или продвижением?
Метрики помогают ответить на эти и другие вопросы. Главное — знать, какие из них, как и когда использовать. Понять это не всегда просто, потому что на любой вопрос можно найти несколько ответов, а каждый полученный показатель — понять по-разному.
Чтобы вам было проще сориентироваться, мы объясним основные понятия и термины, покажем, как выбирают и используют метрики в компаниях, и расскажем, куда бежать, если хочется разобраться в этой теме глубже.
Какие метрики бывают и от чего зависят
Метрик много, их можно делить на разные категории. Например, бывают продуктовые, маркетинговые и бизнес-метрики.
А можно выделять тематические — по целям, которых они помогают достичь. Ниже — несколько примеров таких метрик.
Метрики привлечения пользователей
Они помогают понять, как и откуда в продукт приходят пользователи, сколько их всего, какие из них активные.
Примеры метрик:
- MAU, monthly active users — количество активных пользователей в месяц.
- Active Users — количество активных пользователей продукта.
- RR, retention rate — коэффициент удержания пользователей.
- CR, churn rate — коэффициент оттока пользователей.
Метрики использования продукта
Сюда входят все показатели, которые демонстрируют, как люди пользуются продуктом, какие есть сценарии.
Примеры метрик:
- ER, engagement rate — коэффициент вовлечённости.
- Sessions per user — количество сессий — как часто клиенты используют продукт.
- Key user actions per session — количество ключевых действий за сессию — как часто совершают конкретное действие, которое для вас важно.
Метрики монетизации
Это показатели, которые дают понять, сколько вы зарабатываете на продукте.
Примеры метрик:
- CAC, customer acquisition cost — стоимость привлечения клиента — сколько денег в среднем нужно потратить на рекламу и продвижение, чтобы привлечь одного пользователя.
- GMV, gross merchandise volume — валовый объём торговых операций — сколько вы заработали на продаже продукта.
- LTV, lifetime value — сколько денег приносит пользователь за время, что он пользуется продуктом, или за определённый выбранный срок.
- ARPU — средняя прибыль от одного пользователя за определённый срок.
- ARPPU — средняя прибыль от одного платящего пользователя за определённый срок.
Любые метрики — это просто числа, которые сами по себе не дают важной информации. Чтобы от них была польза, все показатели нужно смотреть в динамике. То есть надо выбрать определённый период и проанализировать, как изменилась метрика за это время, что происходило с другими показателями и в чём может быть причина.
Метрики должны зависеть от целей бизнеса. Прежде чем выбирать, какие показатели измерять, подумайте, чего хотите достичь.
Например: получить прибыль, привлечь инвестиции, добиться лояльности пользователей. Во всех этих случаях вам понадобятся разные метрики.
Важно не только, какие метрики выбрать, но и как использовать полученные показатели. Есть два основных подхода, на которые ориентируются в продуктовой разработке:
Есть два основных подхода, на которые ориентируются в продуктовой разработке:
Data-driven подход
Cначала получают цифры, а потом на их основе принимают решения. Команда выбирает метрики и считает показатели. Полученные числа — первое, на что они посмотрят, решая, куда двигаться дальше.
Data-informed подход
Метрики только частично влияют на принятые решения. Показатели — это важно, но не главное. На них можно ориентироваться в одном случае и не учитывать в другом.
North star metric - метрика полярной звезды (ну типо очень важно про неё знать :))
Что такое North Star метрика
North Star метрика (NSM или метрика Полярной звезды) — это показатель, который лучше всего отражает основную ценность продукта для пользователей. Правильно выбранная метрика Полярной звезды может обеспечить компании стабильный и устойчивый рост в долгосрочном периоде. Другими словами, NSM — ключевой показатель успеха для продуктовой команды.
Показатель NSM должен включать в себя три основных параметра:
- доходность — по показателю видно сколько зарабатывает компания;
- ценность для пользователей — показатель отражает основную ценность продукта для клиентов;
- измеримость — показатель легко измерим.
Допустим ваш главный показатель — «зарегистрированные пользователи»: чем больше пользователей зарегистрировалось в сервисе, тем лучше. Такой показатель легко измерить и он показывает, сколько зарабатывает компания. Но на самом деле эта метрика не несет в себе никакой ценности для клиентов. По ней не видно, как часто уже зарегистрированные пользователи заходят в сервис и нравится ли им ваш продукт. Такой показатель не дает оценить, был ли эффективен релиз новой фичи, онбординг пользователей, обновленный дизайн и т. д. несмотря на то, что он измерим и отражает доходность компании.
Направляя все свои усилия на рост правильной NSM метрики, вы сможете обеспечить компании рост дохода, будете понимать, какую ценность пользователи видят в вашем продукте и правильно измерять свои действия. С такой метрикой можно стать компанией, которая заранее знает, что ей нужно сделать для улучшений, а самое главное, как эти улучшения повлияют на дальнейший рост.
Зачем нужна метрика North Star
Метрика Полярной звезды:
- помогает продуктовой команде четко видеть, что нужно сделать для повышения показателей по NSM, а какие фичи могут быть перенесены в Tasks backlog или вовсе отменены;
- позволяет увидеть в числах прогресс всей компании и ускорить реализацию продуктовых инициатив;
- дает возможность увидеть конкретные результаты по проделанной работе.
Какие North Star метрики могут быть у разных компаний
E-commerce
- Количество пользователей, совершивших первый заказ в неделю;
- стоимость ежедневных покупок;
- LTV (пожизненная ценность клиента)
Онлайн-сервисы
- Количество триальных аккаунтов с тремя и более пользователями в первую неделю;
- процент удержания через год;
- MRR (регулярная месячная выручка);
- MAU (активные пользователи за месяц).
Медиа
- Регистрации и удержание;
- количество активных пользователей в день;
- общая длительность прочтений;
- общее число просмотров.
Может ли метрика North Star меняться со временем
Да, но помните о том, что метрика рассчитывается на долгосрочный период. В этом суть стратегии. Если вы часто меняете главный показатель, скорее всего вы выбираете не ту метрику и не можете достичь ощутимых результатов.
Живой пример полярных метрик в продукте:
Иерархия Метрик
Кто придумал? Бессмысленно спорить. Ребенок примерно в 9–14 месяцев решает, что ходить прямо — круто, и идет. Менеджер digital-продукта примерено через то же время работы с аналитикой понимает, что следует привести метрики в порядок и делает это. Так появляется его Иерархия Метрик. Она есть почти во всех продуктах, где старший возраст дэшборда более года.
Иерархия Метрик есть почти во всех продуктах, где старший возраст дэшборда более года.
Зачем? Иерархия Метрик позволяет
- Локализовать причины изменений на графиках важных метрик (“расследовать аномалии”)
- Не выкатывать изменения, которые могут навредить всей компании (правило: метрики верхнего уровня не должны просесть, даже если целевая метрика релиза выросла).
- Сосредотачиваться на важных показателях
- Определять точки роста
- Расставлять приоритеты в функциях
Есть много показателей, которые можно и нужно измерять, также есть иерархия в подходе к измерению, и, как в любой иерархической структуре, если вы не настроите базу, вы не можете надеяться на достижение высот.
Когда у вас есть идея для фичи, полезно «внедрить» ее в дерево метрик. Это поможет понять, на какую метрику повлияет данная фича больше всего. Чем ближе метрика к «вершине» дерева метрик (к ключевой метрике вашего продукта), тем больше вероятность того, что функция будет успешной.
Алгоритм работы:
Может быть полезно визуализировать алгоритм с помощью MindMap (например, MindMeister, Mind42, Miro) или на листе / флипчарте.
Итак, алгоритм:
1. Определите основной показатель для вашей компании (например, «Выручка»).
2. Определите, какая ключевая метрика продукта соответствует основной метрике вашей компании (предположим, что это также "Выручка").
3. Определите, какие 3-5 основных метрик больше всего влияют на ключевую метрику продукта (например, это будут "Средняя стоимость покупки", "Частота покупок", "Количество пользователей" и "% платных пользователей") - это будут метрики первого уровня.
4. Для каждой метрики первого уровня задайте вопрос: "Какие субметрические показатели влияют на эту метрику больше всего?" (например, на "Среднюю стоимость покупки" влияют "Средняя стоимость товаров" и "Среднее количество товаров в конкретном заказе") - это будут метрики второго уровня.
5. Теперь берем метрики второго уровня и переходим к метрикам третьего уровня и так далее — в общем, разумно копать до 4-5 уровня (в зависимости от размера и сложности вашего продукта) — продолжайте копать, пока не достигнете уровня, который считаете разумным (и пока есть возможность повлиять на метрики данного уровня).
В результате вы должны получить нечто похожее на иерархию как на изображении ниже.
Что делать со всем этим дальше
- Возьмите свой бэклог и разложите из него фичи по метрикам - чем ближе к вершине иерархии находится метрика, тем больше вероятность того, что функция будет успешной.
- Проанализируйте метрики второго и третьего уровней, сфокусируйтесь на них и проведите мозговой штурм. Определите, какие новые функции могут повысить эти метрики.
Частые ошибки
1. Постановка целей: убедитесь, что метрика, которую вы выбрали для вершины иерархии, действительно является самой важной (подсказка - уточните у руководства компании + можно взять метрику "Выручка от реализации продукции" по умолчанию). Некоторые метрики отражают только часть показателей компании, упуская другие важные элементы. Действительно ли вы хотите, чтобы больше всего увеличилось "Количество заказов", а не "Общая выручка" или "Отношение дохода на пользователя к затратам на привлечение"?
2. Метрики должны количественно определять то, что вам действительно нужно знать. Убедитесь, что каждый элемент иерархии является измеримой метрикой.
3. Фокусируйтесь на метриках, а не на фичах: когда вы соотносите идеи фич и метрик, стоит писать идеи фич рядом (или в комментарии) с названием метрики, на которую они влияют, но не как отдельный элемент иерархии.
4. Следите за тем, чтобы количество "ванильных метрик" в вашей иерархии не превышало все остальные - иначе вы рискуете погнаться за ними и впоследствии игнорировать ключевые метрики продукта.
* Ванильные метрики - любые не объективные показатели, по ним нельзя судить о качестве результата и вообще о наличии результата как такового.
5. Не рекомендуется напрямую связывать субметрику с несколькими "родительскими" метриками - иначе вам будет сложно принимать решения. В крайнем случае, обозначьте одну из связей как основную, а остальные пометьте пунктирной линией.
Пирамида метрик
Это, как и Иерархия метрик, инструмент для анализа показателей продукта. Чтобы правильно построить Пирамиду, нужно не только определить зависимости между метриками, но и классифицировать их по целям.
В компаниях Пирамиду и Иерархию метрик используют по-разному: вместе или отдельно друг от друга. Иногда их даже определяют как одну модель.
Когда Пирамида метрик скорее всего вам поможет
- У вас операционный или дизайн-ориентированный digital-продукт, который растет в сторону продуктового бизнеса. Например, у вас сервис доставки. Все на операционке. Вы в стадии перехода в продуктовый бизнес, начинаете считать unit-экокомику, осознали важность CustDev, изучаете или уже внедряете Growth-процессы.
- У вас команда, оторванная от бизнеса и его целей. Вы хотите осознать свое место в процессах компании, интегрироваться с другими командами и бизнесом, обеспечить управляемый рост. Например, у вас небольшой B2B отдел внутри большой B2C компании. Никто не понимает, чем вы занимаетесь. Да и вы, признаться, уже тоже запутались: чего от вас хотят и как измерить свою эффективность.
- У вас много метрик, дэшбордов, богатый бэклог и непонимание, как все это готовить.
Когда Пирамида метрик скорее всего вам НЕ поможет
- У Вас операционный или дизайн-ориентированный продукт, который не собирается значимо меняться в ближайшее время.
- У вас понятный продукт, небольшая команда, есть небольшой и понятный набор метрик, на которые вы ориентируетесь.
- У вас понятная связь продукта и бизнеса.
- У Вас нет кризиса аналитики в компании: решения принимаются с опорой на доказательства.
- У Вас есть кризис аналитики в компании, но Вы понимаете, что проще сменить компанию.
Иерархия и Пирамида метрик – это модели, которые помогают упорядочить показатели, определить зависимости между ними и лучше следить за изменениями.
Иерархия метрик описывает их зависимость друг от друга в направлении от высокоуровневых KPI к низкоуровневым показателям.
Уровни иерархии можно расписывать настолько глубоко, насколько необходимо, вплоть до конкретных показателей, которые мы замеряем в продуктах.
Необязательно опираться на строгие формулы, некоторые известные нам зависимости могут выражаться без формул, например, Retention в Skyeng в целом зависит от Retention в отдельных продуктах компании.
Таким образом, классификация помогает убрать гиперфокусировку команды на одном из множества процессов. Во время аудита метрик и дашбордов мы можем выяснить, что команда думает только об изменении микроэкономических показателей или только об интерфейсе, а также помогает очертить зоны ответственности за рост показателей, грамотно выбрать KPI и собрать дашборды каждой команде в компании. А теперь изучим эту тему более подробно.
Как упростить работу с метриками: фреймворки для исследований
При работе с метриками, как мы уже сказали, возникает много вопросов. Какие и когда выбирать, как измерять, как анализировать? А как понять, что метрики подходят продукту, и вы не будете считать и сравнивать показатели, которые не дают никакой информации — или дают, но совсем не ту, которую важно знать для развития продукта?
Чтобы упростить работу с метриками, в крупных компаниях, например, в Google, используют фреймворки для проведения исследований. Это готовые методы, которые помогают измерять и анализировать показатели продукта. Вот некоторые из них.
HEART
Фреймворк HEART (Happiness, Engagement, Adoption, Retention и Task Success) был создан в Google и используется чаще всего в digital-сфере. Позволяет отслеживать опыт пользователя (для него часто используется обозначение UX, User Experience) по определенным категориям: счастье, вовлечённость, принятие, удержание, успех (выполнения задач).
В него не входят конкретные метрики, поэтому их придётся продумывать индивидуально. Это неслучайно, потому что для различных продуктов важны разные показатели.
Воронка AAARRR (или AARRR)
AAARRR — маркетинговая воронка основных этапов взаимодействия клиента с продуктом. Она нужна, чтобы разделить работу с пользователем на этапы и отслеживать показатели на каждом из них. Таких этапов может быть шесть, если начать с Awareness, информирования, или пять, если с Acquisition, привлечения (в зависимости от этого используется аббревиатура AAARRR либо AARRR).
Маркетинговая воронка помогает оценить успешность привлечения клиентов и монетизацию.
- Awareness - Информирование. Знакомство клиента с продуктом: например, он пришёл на сайт.
- Acquisition - Привлечение. Клиенту стало интересно, и он оставил свои контакты.
- Activation - Активация. Клиент понял ценность продукта и стал им пользоваться.
- Retention - Удержание. Клиент постоянно пользуется продуктом.
- Referral - Виральность. Клиент делится информацией о продукте.
- Revenue - Доходность. Клиент платит за продукт.
Заключение
Создание иерархии метрик решает две основные задачи. Во-первых, помогает определить метрику потребительской ценности продукта (North Star Metric) и связать её с выручкой. Во-вторых, помогает разложить верхнеуровневые метрики на составляющие взаимосвязанные части. Это помогает принимать бизнес- и продуктовые решения более эффективно.
Домашнее задание:
Приходилось ли вам в своей профессиональной деятельности сталкиваться с продуктовыми метриками?
Опубликуйте свой ответ в комментариях под постом.
Не боимся делать ошибки, т.к мы только учимся.
😱 Дедлайн ДЗ: Среда (14.09) до 12:00