Сплит-тест

A/B-тестирование или сплит-тестирование — важный инструмент повышения эффективности. Настолько важный, что многие популярные рекламные платформы уже предоставляют встроенную поддержку сплит - тестов. На самом деле сплит-тестировать можно не только дизайн, но и другие параметры — аудитории, места размещения объявлений (плейсменты), варианты оптимизации показов и т.д. Каждый из этих параметров может снизить ваши затраты на рекламу и увеличить показатель конверсий.

Например, вы выстроили гипотезу о том, что женщины 21-25 лет из Москвы при показе созданного объявления будут давать больше конверсий на ваш товар ( предположим магазин одежды от российского дизайнера ), чем женщины такого же возраста из небольших городов при показе того же самого объявления. Если ваша гипотеза не подтвердится в результате рекламной кампании, и вы поймёте, что гораздо дешевле ориентироваться на вторых, то это может значительно сократить затраты на рекламу и даже переориентировать бизнес только на эту аудиторию. В итоге выиграете и вы, так как показали свой профессионализм и клиент, который поймет, что вы профессионал и делаете красиво)

Сплит-тесты помогут понять, какие связки таргетинга с объявлениями работают, а какие сливают ваш бюджет. Да и сами клиентов будут рады тому, что вы переживаете за их результат и относитесь к проекту с максимальной вовлеченностью

В документации указано, что при проведении тестирования аудитория случайным образом делится на непересекающиеся группы. Из этой простой фразы следует несколько очень важных выводов.

Самый очевидный вывод — встроенное тестирование будет давать более точные результаты, чем открутка двух конкурирующих рекламных кампаний вручную и сравнение их результатов. Почему? Потому что в отличие от Facebook мы не можем убрать пересечения аудиторий и часть пользователей, взаимодействовавших с нашей рекламой в «Кампании 1», может также взаимодействовать с ней в «Кампании 2». Это особенно важный фактор, если мы сравниваем именно аудитории, а не другие переменные.

Но и при тестировании других переменных — плейсментов, дизайна, оптимизаций показа - Facebook тоже проводит разбиение аудитории на две непересекающиеся группы. Например, вы тестируете, какая реклама вашего продукта зайдет лучше: слайд-шоу или статичная картинка. Тестируемая аудитория будет поделена пополам и одной половине будет показываться только слайд-шоу, а второй - только статичное изображение.

Менее очевидный вывод заключается в том, что неудачное разбиение аудиторий на тестируемые группы может сделать сплит-тест бессмысленным, если эти группы имеют много пересечений.

Реальный пример: нужно было проверить, какие настройки аудитории для показа рекламы эффективнее — ручная настройка аудитории по интересам или автоматическая настройка по пикселю Facebook (аудитория, похожая на текущих подписчиков страницы). Недельный сплит-тест показал, что статистически значимой разницы в процентах конверсий нет. То есть, с одной стороны, тест можно было и не проводить. С другой — было получено подтверждение тому, что текущие настройки таргетинга аудитории сделаны верно.

Если вам обязательно нужен победитель в тесте, сталкивайте лбами заведомо непересекающиеся аудитории - разные страны, разные города в пределах одной страны, разные возрастные группы и т.п. Вариантов куча.

Итак, Facebook разбил тестируемую аудиторию на две группы. Как он поймет, какая из них эффективнее? Только набрав статистику по конверсиям. Чем больше показов в каждой тестируемой группе будет сделано, и чем больше конверсий набрано - тем точнее будут данные. Говоря языком статистики - чем шире тестируемая выборка, тем лучше результат. Стопроцентную точность даст лишь стопроцентный охват каждой из групп.

Почему берутся конские бюджеты на сплит-тестирование? Потому что Facebook в сплит-тесте по умолчанию стремится показать вашу рекламу как можно большему проценту пользователей в каждой из групп, да еще и за ограниченный период времени. Возможная длительность сплит-теста в настройках — от 1 до 30-ти дней. Рекомендуемая длительность - четыре-семь дней. И это ограничение по времени еще больше задирает ставки на оплату показов рекламы. К счастью, понимание этого механизма дает сразу три очевидных пути оптимизации расходов.

1. Самое главное, начинайте тестирование с аудиторий. Глупо тестировать оформление или места показа рекламы, если мы не уверены, что показываем свои объявления пользователям, которые обеспечат нам наивысший процент конверсий. Если будете тестировать оформление или места показа рекламы, с вероятностью 90% сольете бюджет. Поэтому первые сплит-тесты должны быть направлены именно на то, чтобы понять, на кого нам запускать последующие тесты и рекламные кампании. На мужчин или женщин? По России или по всей Европе?Или только по США? Если в России, то по всей стране или только по мегаполисам? В какую возрастную группу бить? 25-35 или 36-50?Или 20-50?
2. Но даже на этапе определения аудитории можно включить и второй фактор оптимизации расходов - тип конверсий. Не секрет, что разные целевые действия имеют разную стоимость. Клик дороже показа, открытие целевой страницы дороже клика, добавление в корзину дороже открытия страницы, а оформленная покупка - еще дороже. А при сплит-тесте можно выбрать любую разновидность конверсии. И, разумеется, руки будут чесаться выбрать самую "наваристую" - покупку. НО! Это тестовая кампания. Сейчас ваша задача получить данные для полномасштабной кампании как можно быстрее, точнее и дешевле. Поэтому забудьте про дорогие виды целевых действий, включите их уже в финальной кампании. В каждой группе выбирайте самый дешевый вариант. Например, если финальная кампания будет нацелена на лиды, берите самый дешевый вариант лидов - трафик на целевой сайт (клик на ссылку). Если нужно протестировать конверсии, выбирайте самые недорогие: просмотр страницы оформления заказа обойдется вам дешевле, чем добавление в корзину, а добавление в корзину - дешевле, чем реальная покупка.
3. Намеренное сужение аудитории. Расчет простой. Набрать статистически значимые для теста данные быстрее и дешевле на аудитории 250 000 человек, чем на полумиллионе. Как сужать аудиторию? Да куда хочется) Например, вы знаете, что возраст вашей ЦА лежит в пределах от 25 до 55. Но при этом наибольшая часть клиентов приходится на диапазон 35-45. Именно на это ядро и запускайте тест. Дополнительно - режьте географию. Например, запустите тест не на всю Россию, а только на один город, например Питер.

Как мы выяснили чуть выше, самое первое, что нужно определить при помощи сплит-тестирования — кому именно показывать рекламу, другими словами — кто наша ЦА.

Следующий вопрос, который будете решать - где именно ее показывать. Про это я уже писал в другой статье, так что можете изучить ещё раз, если забыли. По умолчанию, Facebook сам решает, где и сколько раз показать ваше объявление для достижения наибольшей результативности. А теперь представьте, что "точность" его прогнозов и рекомендаций с плейсментами такая же, как и в случае с автобюджетами. То есть 0,00000001%, а мы же не хотим сливать бюджет, верно? Поэтому никаких автоплейсментов, определите их эффективность в явной форме при помощи тестов.

И лишь после ответа на вопрос о том, где именно показывать рекламу, можно тестировать другие показатели - оптимизацию показов и креативы.

В рекламе нет статичных решений. Нельзя один раз провести все тесты, сделать все настройки, запустить таргет и ждать. Пока работает ваша текущая кампания — самое время позаботиться о следующей. Провести новую фотосессию, заказать копирайтерам новые описания и подводки, продумать новые тесты. То, что не работало вчера, может заработать завтра. Возможно, новые фотографии дадут лучшую результативность в Instagram, хотя прошлая рекламная кампания там вообще не пошла. Может быть, новые опции доставки улучшат конверсию вашей рекламы в регионах, а новые тексты — помогут достучаться до возрастной группы, которая еще вчера была мертвяком. Можете поискать новых конкурентов, блогеров и инфлюенсиров для рекламы вашего продукта, бренда. Именно для этого и предназначено A/B-тестирование.