Как выбрать правильные метрики для продукта

Для каждого продукта, развитием которого мы в данный момент занимаемся, необходимо сформулировать ряд продуктовых метрик, позволяющих наблюдать за изменением в состоянии продукта. Это нужно нам самим для лучшего понимания своей работы. Главное, это важно с точки зрения прозрачности работы: ключевые метрики дают возможность понять, где продукт растёт, где ничего не происходит, а где мы начали проседать.

В самом простом виде — ключевые метрики представляют собой сводку количественных показателей важнейших аспектов работы наших продуктов в одном графическом дашборде. 

Определиться с ключевыми метриками поможет фреймворк Гугла "HEART", который специально разработан для выделения КМ в сложных продуктах.

В начале хочется сделать акцент на следующих моментах:

• Сначала определите стратегию и цели ваших продуктов, затем метрики. Сначала сформулируйте гипотезы и цели, затем думайте над экспериментами по проверке. Начинайте с целей и проблем пользователя, а затем уже продумывайте, какие цифры могли бы подсказать вам ответ/направление. 
• Нет единой "Базовой метрики", такой волшебной, которая бы работала для всех продуктов и всегда. Безусловно, те же DAU, MAU и Retention являются неплохими индикаторами состояния продукта. Но вопрос, какие из них будут для вас более важны, а какие – менее.

В Google ребята разработали полезный фреймворк для определения и выбора метрик, отражающих:

- Качество user experience (HEART) — оценка продукта по пяти показателям.

- Цели вашего продукта или проекта (Цели-Сигналы-Метрики) — цели показателей, признаки по которым они оцениваются, и метрики, которые количественно отражают движение к цели.

1. The HEART framework

Ребята из Google заметили, что продуктовые метрики попадают в какую-то одну из 5 категорий. Данный подход может применяться как к целому продукту, так и к отдельной фиче. Совсем не обязательно создавать метрики для каждой из этих категорий, вы должны выбирать те, что являются самыми важным для каждого конкретного продукта.

Happiness (Счастье)

Данной категорией измеряется отношение пользователя к продукту, очень часто через опросы. Примерами метрик здесь могут быть:

• Индекс удовлетворённости
• Индекс простоты использования
• NPS

Счастье пользователей достаточно тяжело измерить, это не DAU, например. Вопрос в том, нужно ли это на уровне конкретного продукта. 

Я пользуюсь Drom.ru каждый день. Я счастливый пользователь? Это какой-то странный вопрос. Эмоции — это про бренд, продукт — про решение задачи, про ценность.

Тут можно подойти с другой стороны. А извлекает ли пользователь какую-то пользу из вашего продукта? Попробовать "счастье" заменить на "ценность". 

Как определить ценность? Если мы представим идеального пользователя, который получает максимальную пользу от продукта, что он сделал/делает?

Если это Дром Отзывы, возможно, он прочитал > n отзывов за день или написал > n дополнений за определенный период.

Если это Дром ПДД, возможно, он ответил > n вопросов за день или изучил > n% всего материала за определенным период.

Если это Дром Авто, возможно, он продал машину < n дней.

Это та самая "активация": первый момент во время использования продукта, когда пользователь извлекает ценность. Важно, что пользователь вполне может и не осознать этот момент.

Engagement (Вовлеченность)

Показатель уровня вовлечённости пользователя, часто измеряется частотой, интенсивностью и глубиной взаимодействия пользователя с продуктом за какой-то период времени. Примеры могут быть:

• Количество посещений на пользователя за неделю
• Количество фото, которые пользователь загружает ежедневно

Вовлеченность — это логическое продолжение активации. Здесь мы отвечаем на вопрос вопрос, а продолжают ли пользователи получать пользу от продукта? Приведем пару engagement метрики:

• Количество времени, проведённое в чате, на пользователя,
• количество активных подписок на пользователя,
• количество написанных сообщений на пользователя.

В чем отличие между активацией и вовлеченностью? Активация — это конкретный момент совершения целевого действия в продукте. Соответственно, нас интересует количество людей, дошедших до этой точки, и как это количество можно увеличить. Вовлечённость — это многократное повторение одного или нескольких целевых действий в продукте.

Adoption (Принятие)

В данной категории мы рассматриваем новых пользователей продукта или новые фичи. Например:

• Количество аккаунтов, созданных за последние 7 дней (если раньше их создавать было невозможно)
• Процент пользователей, которые начали подписываться после ввода в эксплуатацию этого сервиса

Adoption прекрасный пример метрики, которая показывает насколько качественные фичи внутри продукта мы выкатываем. Насколько хорошо мы умеем сообщать о них пользователям, и насколько они попадают в ожидания наших юзеров. Адопшн в основном про попадание в ценность, которую ищет для себя пользователь в своей жизни.

Retention (Удержание)

Здесь мы говорим про процент пользователей, возвращающихся в продукт. Например:

• Как много активных пользователей в выбранный момент все ещё пользуются продуктом спустя какое-то время?

Возможно, даже более будет интересна обратная метрика, где удержать пользователей не удалось, — отток или churn.

Удержание для большей части сервисов является одной из важнейших продуктовых метрик. Churn не работает на уровне фичи, но, наверное, будет самым громким звоночком, что с продуктом что-то не так. Понятно, что будет часть пользователей, которая будет утекать по естественным причинам (купил машину и до следующего раз "пока"); нам же наиболее интересны прошедшие активацию пользователи, которые решили уйти.

Task success (Успех в выполнении задания)

Данная категория включает в себя традиционные поведенческие UX метрики, например:

• Оперативность (время загрузки страницы)
• Эффективность (процент успешных поисков)
• Процент ошибок

Эта категория наиболее применима к части продукта, ориентированной на выполнение задачи: например, поиск или процесс загрузки.

Итак:

• Счастье = высокоуровневая оценка, которую юзер даёт вашему продукту. 
• Вовлечённость = количественные показатели зависания пользователя в продукте.
• Принятие = количественная оценка того, как хорошо воспринимают изменения в продукте юзеры. 
• Удержание = количество пользователей, которые помнят про наши продукты (фичи) и не регулярно пользуются ими или забывают про них (churn). 
• Успех в задании = техничесткие моменты в прохождении сценарии или выполнении задачи пользователем. Они могут меняться в течение времени с изменением функционала продукта.

2. Цели-Сигналы-Метрики

Как же перейти от HEART-описания непосредственно к метрикам, которые вы можете отслеживать? Готового рецепта HEART-дашборда, который магически за вас всё сделает, нет. Наиболее вероятно, что самые полезные метрики будут специфичны для вашего продукта или проекта.

Процесс Цели-Сигналы-Метрики ведёт к приоритезации метрик.

Здесь важно понять, какие цели у вас по каждому из пяти пунктов выше, по каким признакам (сигналы) вы сможете оценить движение к цели, а также как вы сможете количественно измерить (метрики) это движение.  

Цели

В идеале вам нужен небольшой список ключевых метрик. Чтобы понять, что это за метрики, надо начать на уровень выше: определить цели, а потом уже выбрать метрики, которые помогут измерять прогресс по выполнению этих целей. Пару примеров:

• В YouTube, к примеру, одна из наиболее важных целей относится к категории Engagement: мы хотим, чтобы пользователи наслаждались видео, которые они смотрят, и продолжали открывать больше видео и каналов, которые они хотели бы посмотреть.
• Для YouTube Поиска ключевая цель относится к Task Success категории: когда пользователь вводит запрос, мы хотим, чтобы он быстро и легко нашел наиболее релевантные видео или каналы.

Частая ловушка — определять цели в рамках ваших существующих метрик: например, «наша цель увеличить трафик на сайт». Да, каждый хочет это сделать, но как улучшения в продукте помогут вам в этом? Хотите ли вы увеличить вовлеченность существующих пользователей или привлечь новых?

Сигналы

Следующий шаг — привязать цели к более низкоуровневым сигналам. Как успех или провал в достижении целей может проявить себя в пользовательском поведении или отношении? Например:

• Сигналом вовлеченности для YouTube может быть количество видео, просмотренных пользователем, а еще лучше — время, потраченное на просмотр видео.
• Сигналом провала в Task Sucess категории для YouTube Поиска может быть запрос, по которому не было ни одного клика на результаты.

Обычно есть большое количество потенциально полезных сигналов для конкретной цели. Как только вы набросаете какое-то количество "кандидатов", остановитесь и проведите небольшое исследование.

Во-первых, насколько легко трекать каждый сигнал? Будут ли логироваться нужные действия в продукте? Можете ли вы выкатывать опросы на постоянной основе?

Во-вторых, выбирайте сигналы, которые будут чувствительны к изменениям. Если вы уже собираете потенциально полезные сигналы, вы можете проанализировать имеющиеся данные и попытаться понять, какие сигналы будут точнее всего предсказывать достижение соответствующей цели.

Метрики

Сигналы, которые вы выбрали, можно уточнить и превратить в метрики, которые вы будете трекать в динамике или использовать для сравнения в экспериментах.

• В примере с вовлеченностью в YouTube мы могли бы внедрить сигнал "как долго пользователи смотрят видео" как метрику "среднее количество минут, потраченное на просмотр видео, на пользователя в день".

Специфика сильно зависит от вашей инфраструктуры. Но, как и на предыдущем шаге, есть множество метрик, которые можно вывести из определенного сигнала, – вам надо будет проанализировать данные и решить, какие будут для вас наиболее полезны.