Методы проверки гипотезы
Pm c 0 до Junior за 9 месяцев
В чем секрет успешности крупных компаний? Их секрет в том, что они не боялись экспериментировать, ошибаться, и снова тестировать. Результатом тестирования гипотез стали успешные и рабочие модели.
Существует множество причин, по которым новый продукт может не взлететь. Самая популярная — он будет попросту не нужен рынку. Такие выводы сделали в исследовательской компании CB Insights, проанализировав 101 провальный стартап.
Много было случаев, когда влюбленные в свою идею основатели тратили месяцы и сотни тысяч долларов на разработку продукта, который в результате оказывался никому не нужен.
Чтобы не тратить сотни тысяч долларов впустую, некоторые команды стали проверять востребованность будущего продукта прежде, чем приступать к написанию кода. Такой подход известен как Riskiest Assumption Test (RAT). Он предполагает проверку наиболее рискованных гипотез и сбор обратной связи от пользователей до непосредственной реализации продукта.
В этой статье мы обсудим два типа наиболее рискованных гипотез (спроса и ценности) и рассмотрим примеры разных способов их проверки.
Инструменты проверки продуктовых гипотез
A/B тестирование или сплит–тест
В таком тестировании главное — четко определить выборку, точнее ее размер. Это важно, чтобы результаты получились максимально реалистичными и статистически значимыми. Многие продуктовые менеджеры рекомендуют проводить сплит–тестирование при наличии как минимум десяти тысяч активной месячной аудитории. Если столько пока нет, лучше использовать другие инструменты.
Количественный опрос пользователей
Их создание и проведение облегчают специальные сервисы. Например, Survey Monkey. На бесплатном тарифе можно создавать анкеты до 10 вопросов. Статистику ответов можно тут же просматривать в реальном времени, что особенно удобно на совещании. Ссылку на анкету можно разместить на сайте или в соцсетях. Такие сервисы позволяют выбрать нужную аудиторию и задавать ей вопросы.
Качественные исследования или customer development
Это прямой разговор с потребителями или с определенной группой потенциальных потребителей продукта. Такие интервью можно разделить на две группы:
- Usability — поможет понять смогут ли пользователи в принципе использовать ваш продукт и решать с его помощью свои задачи, достигать цели.
- Discovery — детально вникает в состояние, проблемы, восприятие пользователей определенной группы. В таких интервью задают вопросы: Кто? Как? Зачем? Где?
Сколько таких интервью нужно, чтобы протестировать гипотезу? Начинают обычно с пяти. И продолжают до тех пор, пока люди не перестанут давать новые ответы. То есть, как только информация начнет повторяться, можно прекращать.
Для гипотез, которые тестируют небольшие изменения в продукте, может хватить 5-7 интервью.
Для запуска абсолютно нового продукта — 50-70 интервью.
Тестирование гипотез продукта методом HADI
HADI — это цикл из четырех блоков:
- Hypothesis — формирование гипотезы по принципу «если, то…»
- Action — проверка гипотезы продукта, то есть проводим работы для запуска эксперимента.
- Data — собираем данные и получаем измеряемый результат.
- Insights — делаем выводы: была ли гипотеза успешна, что и как можно было бы улучшить. А на их основе формулируем дальнейшие гипотезы и снова проходим цикл: проверка — измеряемый результат — выводы и новые гипотезы.
Советую изучить статью Алексея Черняка:
"20 способов продавать с первого дня. Как быстро и дешево проверять идеи и не просить инвестиций"
Кейс по тестированию гипотез в Google
Обязательно соизмеряйте результат, который может дать гипотеза, с ресурсами, которые вы на это тратите.
В какой–то момент Google слишком сильно увлеклись тестированием гипотез, они начали полагаться на данные даже в мелочах. Игнорируя при этом мнение специалистов компании.
Например, в 2009-м они тестировали 41 оттенок голубого цвета, чтобы узнать, какой будет эффективнее и лучше для всей платформы. В гипотезе они использовали один оттенок голубого на главной странице поисковика, а другой оттенок — на странице почты Gmail.
Из-за этого из компании даже ушел ведущий дизайнер Дуглас Боумэн. Он тогда открыто сказал:
«Да, это правда, что команда в Google не могла выбрать между двумя блюзами, поэтому они тестируют 41 оттенок между каждым синим, чтобы увидеть, какой из них работает лучше. Недавно у меня были дебаты о том, должна ли граница быть 3, 4 или 5 пикселей в ширину, и меня попросили доказать это. Я не могу работать в такой среде. Я устал обсуждать такие миниатюрные дизайнерские решения. В этом мире есть более захватывающие проблемы дизайна, которые нужно решать».
Кейс: Беспроводная зарядка Plum
Создатели девайса для беспроводной зарядки PLUM проверяли интерес покупателей с помощью продающего лендинга, собранного на конструкторе Tilda, и трафика из Facebook Ads.
Полученные в ходе эксперимента метрики (CTR, CR, Cost Per Lead) соответствовали ожиданиям команды и подтвердили жизнеспособность Unit - экономики.
Следующим этапом команда Plum планирует запустить краудфандинг-кампанию на Kickstarter и в случае успеха приступить к непосредственному производству продукта. Это отличный способ без риска проверить спрос. Если он не подтвердится, деньги, полученные на предзаказах, можно вернуть покупателям.
Заключение
Создавать новые продукты – длительный и дорогостоящий процесс. Начинать разработку без наличия подтверждения спроса и ценности – неэффективно. Продолжать разработку с доказательством, что продукт не востребован или не создает добавочной ценности – нет смысла.
С развитием все большего количества no-code решений, позволяющих автоматизировать процессы, делать прототипы, а иногда и полноценные продукты с простой логикой, проверка наиболее рискованных гипотез становится все более простой и быстрой задачей. Главное быть готовым действовать и менять планы в соответствии с новой информацией.
Спасибо за внимание ❤️
Домашнее задание:
Найдите в интернете любой кейс подтверждённой гипотезы, изучите и поделитесь с нами в комментариях
Не боимся делать ошибки, т.к мы только учимся.
Опубликовать варианты в "комментариях" под постом.
😱 Дедлайн ДЗ: Среда (13.04) до 12:00