Марафон АБ тестов
Сроки и цена
- даты: 10 - 23 марта
- цена до 3 марта: 12000 р
- цена с 3 марта: 17000 р
Формат
Кейс, который будет обыгрываться - вы пришли на стажировку в роли продуктового аналитика и у вас есть наставник в роли меня, с которым вы должны найти точку роста, спланировать АБ и подвести его итоги.
Разбираем один кейс по шагам от поиска точек роста до финального решения по АБ тесту. Формат ориентирован на практику, попробовать сделать самому руками. Рассказывать про ЦПТ, работу стат критериев под капотом и прочие прелести статистики не буду.
В марафоне будем работать с метрикой поюзерная конверсия, т.к. она самая простая для старта, но при этом и самая практичная, т.к. во множестве случаев АБ тесты делаются на конверсию.
Для участия будет создан закрытый телеграм канал, где каждый день в течении недели будет выкладываться урок и задание, в комментарии вы должны будете скидывать свои решения, а я буду давать обратную связь по ним.
Отзывы
Для кого?
Для тех у кого нет практического опыта в АБ тестах, но хочется попробовать порешать подробный кейс по АБ тесту. Продакты, маркетологи, аналитики без опыта в АБ.
Нужны ли знания SQL, python и прочего?
Нет, будем использовать google sheets и всякие онлайн калькуляторы. Я хочу чтобы любой кто хочет "потрогать" АБ тесты смог это сделать, поэтому берем простые решения и простые кейсы.
Что по итогу?
Будете знать как спланировать и проанализировать простой эксперимент на конверсию.
План по дням
День 1. Поиск точки роста
День 2. ДЗ
День 3. Про конверсию
День 4. Работа с гипотезами
День 5. ДЗ
День 6. Дизайн АБ теста
День 7. ДЗ
День 8. Трекинг для отслеживания АБ
День 9. Без ДЗ. Подтягиваем хвосты
День 10. Работа над ошибками
День 11. ДЗ
День 12. Анализ результата АБ теста
День 13. ДЗ
День 14. Стрим с ответами на вопросы
Артефакты, которые вы заберете после марафона
Сегодня хочу подсветить какие полезные вещи вы заберете с собой после марафона
✅ 1. Шаблон для формулирования гипотез и их оценки
Хорошая гипотеза это не просто предположение. Для того чтобы оценить гипотезу важно правильно сформулировать по 6 параметрам.
✅ 2. Шаблон для дизайна АБ теста
АБ тест это не просто "давайте запустим, а потом сравним" он требует тщательного планирования, подбора стат параметров, метрик, предварительных расчетов. Чтобы все это учитывать вы получите специальный шаблон.
✅ 3. Чек-лист для проверки валидности АБ теста и оценки результата
Когда АБ проведен наступает этап проверки. Нужно выяснить, а правильно ли прошел АБ тест, нет ли проблем в данных, после подсчитать метрики, стат критерий и провести интерпретацию. Чтобы не забыть что-то важное вы получите чек-лист.
✅ 4. Ссылки на калькуляторы для расчета выборки, подведения итогов, оценки SRM
Калькуляторы помогут посчитать выборки, оценить результат АБ теста и проверить дисбаланс.
✅ 5. Подборка полезных материалов по разным темам АБ тестирования для начинающих
У меня есть много разных материалов про АБ тестирование из ru и en интернета. Подготовлю полезную подборку, которая поможет глубже погрузиться в АБ тесты