Кейс 1

Всем привет:) В этой статье, я сделала для вас выжимку из гипотез, которые вы же и набросали в комментариях к первому кейсу (кейсы обсуждаем в канале Хочу в STEM)

P.s. Для пущей мотивации скажу, что генерировать гипотезы полезно всем, кто работает близко к продукту, скорее всего вас запрягут это делать, а если вы аналитик или менеджер - похожие кейсы, в частности связанные с изменением dau, любят спрашивать на собесах, так что enjoy reading 🤪

Кейс

Предположим, вы работаете в каком-нибудь маркетплейсе. В один день к вам прибегает менеджер (все менеджеры у меня бегают 💪) и поздравляет с отличной работой, потому что DAU за вчерашний день вырос в 2 раза 💯

DAU - количество уникальных пользователей за сутки 

То есть DUA маркетплейса будем считать уникальных пользователей, которые на этот маркетплейс просто зашли(не обязательно совершали какие-то действия) 

Так как вам кажется это подозрительным - вы генерируете гипотезы, почему на графиках вы видите такое изменение

Разбор

Перед тем как что-то делать и идти исследовать, есть...

🌟 золотое правило 🌟 - обратите внимание на алерты и сообщения в чатиках

Если вы наблюдаете какой-то общий сбой, то скорее всего про него уже успели где-то написать 

Дальше может быть полезным посмотреть на дашборды(место, где собраны информативные графики вашего продукта), как ведут себя другие метрики - это может быть подсказкой вашему расследованию 🕵️‍♂️

Или же подсказкой может оказаться сам сервис, в комментариях рассказали как раз про такой кейс

"Была в точности такая ситуация на практике. Особенно забавно, что у нас внутренний сервис и физически ниоткуда не могло взяться столько людей (в компании меньше работает), поэтому было более-менее очевидно, что это техническая ошибка, а не продуктовый прорыв"

Например, предположим что вырос только dau, а другие метрики никак не поменялись

Здесь могут быть разные ситуации:

Какие-то технические баги 🪲, в реальности количество пользователей не увеличилось, но метрика считается неверно 

• Проблема в сырых логах: начиная от того, что выпустили обновление приложения, которое теперь отправляет информацию про запуск, когда в реальности пользователь только закрывает старую вкладку - и заканчивая тем, что логи просто неправильно собираются 

 "Компания постоянно экономит на разработчиках, в связи с чем в компании осуществляется отрицательный отбор, и остаются только лентяи, которые хотят работать удаленно по 3 часа в день. Из-за их криворукости, счетчик уникальных пользователей скомпрометирован или нарушен техническим сбоем, что привело к неправильному отображению данных" 

• Вполне возможно, что сырые логи приходят правильными, но когда вы строили график - то сами (или аналитики до вас) где-то налажали. Может вы берете данные одновременно за несколько дней назад(такое может случиться, если вы неверно выстроили регулярный процесс) 

Если все считается корректно, то есть смысл попробовать кластеризовать новых пользователей и / или посмотреть откуда они пришли

Вот несколько интересных гипотез:

• Если рост произошел из органики, но при этом вообще не выросли покупки и т д - возможно ваш сайт начал показываться на нерелевантных запросах в поиске. Есть смысл пойти поговорить с вашими SEO-шниками, что они наворотили.
• Если же из рекламы и опять без роста покупок - реклама также может показываться на нерелевантных запросах / в нерелевантных местах, либо же ее сделали такой, что люди промахиваются и кликают в нее случайно
• "Конкуренты ботов напустили". Вполне возможно, что вы используете логи без очистки от роботных визитов. Не сталкивалась с ситуацией, что конкуренты что-то такое проворачивали - но гипотеза вполне огонь, в любом случае отделять роботов от реальных людей - очень полезно, на моей практике это делается отдельными умными ребятами из антифрода😎, но если вы стартап - может у вас пока еще ничего такого нет 

Если же вы видите прирост и по другим метрикам, как например увеличение количества заказов🛒🛒🛒, то в этом случае скорее всего вы с менеджером заранее будете его ожидать, и то что dau вырастет в два раза - не будет сюрпризом

Как минимум, вы узнаете про "положительный коллапс"(что-то из области фантастики) из тех же чатиков, а по хорошему - менеджер заранее должен знать про все запуски, которые аффектят его продукт. Поэтому когда выходит новая рекламная кампания - вы уже представляете как именно она должна повлиять на ваши метрики

Но здесь тоже есть несколько важных поинтов:

Невозможно представить себе, чтобы какой-то маркетплейс не облепил каждую ссылку UTM параметрами как дети новогоднюю елку шарами (если конечно, не см. "криворукие разработчики”)

Если же у вас в логах нет такого параметра как source и вы не знаете откуда пришел пользователь - то это поинт, на который стоит обратить внимание 👀

И это ответственность не только разработчиков, но и ваша, как аналитика. Аналитику нужно наперед подумать какая именно информация должны быть в логах. В конце концов именно вы работаете с данными, генерируете и проверяете гипотезы, отвечаете за метрики, строите графики и т. д.

Логи - ваш инструмент, за который вы тоже несете ответственность(только если это не логи соседних команд)

Ну а если все-таки пока этого у вас нет и нужно гадать на кофейной гуще 🔮, то вот несколько прикольных поинтов, которые могли произойти:

• Самый популярный ответ - черная пятница
• Завирусился какой-то товар (тут сразу можно проверить, сделав разбивку по товарам / страницам / запросам)
• Выпустили обновление сервиса и теперь им можно пользоваться на другой платформе / в другом регионе
• Беспроигрышный розыгрыш, в котором все решили поучаствовать
• Маркетплейс мог заключить партнерство с другой компанией или интегрировать свою платформу с популярным сервисом, что привлекло новых пользователей, но криворукие разработчики выкатили эти изменения раньше назначенной даты. 
• Могло произойти событие или наступить период, когда интерес к продукту маркетплейса возрастает естественным образом. Например, в период праздников
• "Ликвидация складов, цены снижены на 90%"

Про каждый из этих пунктов можно дискутировать, что именно должно было произойти с dau и правда ли метрика могла вырости в целых / только в два раза в каждом из пунктов, но для брейншторма вышло кайф. Ведь...

Лучше сгенерировать и опровергнуть гипотезу, чем не сгенерировать

Однако анализ гипотезы не менее важен, чем их генерация, но об этом в следующих сериях

Здесь важно понимать, что нет какого-то универсального и правильного способа какие шаги где предпринимать, только опыт и смекалка. И то что мы с вами нагенерировали - чайная ложка того, что и где могло пойти не так или наоборот - слишком хорошо (опять же, что-то из фантастики) 😄

В любом случае, уметь генерировать продуктовые гипотезы - это навык, которых приходит со временем. Ну а научиться это делать можно не только на работе, но и с помощью таких упражнений, когда вы сами сначала накидываете и разгоняете, а после читаете какие еще могут быть идеи и про чужой опыт

Вот такая интересная сборная солянка вышла из ваших ответов, а больше всяких IT-шных приколюх - у меня в канале, всем всегда очень рада💗