Научный подход к сплит-тестированию рекламных объявлений

Размещено в: Работа с PPC системами

Давайте посмотрим на результаты сплит-тестирования одной небольшой AdWords кампании.

Один и тот же текст объявления, идентичные заголовки, никаких отличий в Display URL. И результаты, которые отличаются друг от друга на 300%. Как вы думаете, в чем причина?

Нет, Destination URL тут не при чем. И настройки ротации в кампании, что видно на скриншоте, не повлияли на результат. Даже количество показов примерно одинаковое и, я уверяю вас, никто не останавливал первое объявление, чтобы запустить второе в другой день недели.

Все гораздо проще. Причина, как сказал бы преподаватель статистики, маленький размер выборки. 300 показов и 4 перехода – слишком небольшой объем, чтобы сгладить случайные колебания CTR. Давайте посмотрим, что об этой кампании нам сможет рассказать научный подход.

Способ 1. Сервис SplitTester

Определяем вероятность того, что кампания с большим CTR сохранит свое лидерство и в дальнейшем. Приведенные в примере цифры дают нам 95 процентную вероятность того, что на CTR оказывает влияние какой-то фактор, не учтенный нами. Попробуйте посмотреть, для какого CTR и количества переходов вероятность увеличится до 99%.

Способ 2. Сервис Sample Size Calculator

Более сложный инструмент, предназначенный для исследования точности статистических опросов. Для анализа PPC кампаний он тоже подходит.

На сайте сервиса есть довольно неплохое описание, я же расскажу как его использовать для целей прогнозирования точности сплит-тестирования.
Начнем с определения количества переходов (кликов/лидов/покупок), по которому можно определить, что наши цифры достаточны для вынесения суждений обо всех посетителях или покупателях. В приведенном примере объявление номер 1 сработало с CTR 3.79%. Давайте определим, достаточно ли такого количества переходов для 95% уверенности в том, что ситуация с CTR не изменится в дальнейшем.
Устанавливаем Confidence Level в 95%, Confidence Interval (погрешность) в 10%, Population (общее количество потенциальных посетителей) не указываем.

Мы выяснили, что для того, чтобы с вероятностью 95%±10% наша выборка отражала поведение всей аудитории – необходимо 96 переходов. У нас же было всего 12, для лучшего объявлений. Данных явно недостаточно.

Кстати, эти данные совпадают с мнением популярных аффилиатов, которые говорят о 100 кликах для определения перспективности рекламодателя или площадки.

Теперь давайте воспользуемся вторым инструментом и посмотрим, с какой же точностью наша кампания описывает ситуацию с этими объявлениями в целом.

Общее количество переходов – 16. Общий размер аудитории нам неизвестен, как и в первом случае оставляем его незаполненным. На странице сервиса описано, почему так можно делать. В нашей кампании 75 процентов посетителей выбрали первое объявление.
Результаты удручающие – точность нашего исследования составляет 99%±27%. Погрешность слишком велика, чтобы делать какие-то выводы. Что совпадает с тем выводом, который мы сделали в начале публикации.

Относитесь критически к вашим результатам и удачных вам рекламных кампаний!