Эксперименты в Яндекс.Директ: как с ними работать

Запуск экспериментов в Яндекс.Директ теперь доступен всем рекламодателям. Ранее пользоваться этим инструментом можно было только по запросу – тем рекламодателям, кто уверенно работает с аналитикой. 

Теперь же для проведения теста и анализа его результатов больше не требуется каких-то специальных навыков. Новый отчет в Метрике позволит без труда проанализировать результаты эксперимента: система автоматически проверит, достаточно ли накопилось данных для анализа, и выделит наиболее и наименее выигрышные варианты. Давайте разбираться, как это работает.

Если говорить в двух словах, эксперименты в Директе – это своего рода A/B-тесты с широкими возможностями. С их помощью вы можете:

• узнать, как влияют друг на друга кампании разных типов;
• проанализировать зависимость конверсий на сайте от показов рекламы;
• сравнить эффективность автоматических стратегий и ручного управления ставками;
• выбрать наиболее эффективную стратегию

Эксперименты дают возможность протестировать различные предположения об эффективности рекламы, комбинации настроек, типы кампаний и даже медиапланы рекламных агентств.

Запуск эксперимента

Перед началом работы следует учесть несколько очень важных моментов:

1. Тестировать нужно только одну гипотезу за раз.
2. В идеале в эксперименте должно набираться хотя бы 200 конверсий для того, чтобы результат значимым с точки зрения статистики. Если данных не хватает, следует исследовать цель, идущую выше по воронке и достигаемую чаще.
3. Если вы хотите сравнить эффективность ручной и автоматических стратегий, важно, чтобы за время теста кампании израсходовали одинаковое количество средств.
4. Эксперимент невозможно провести для рекламы мобильных приложений и медийных кампаний со сделками.

Запускаются эксперименты в Аудиториях. На вкладке «Эксперименты» нажмите кнопку «Создать эксперимент». Введите название и выберите счетчик Метрики, который хотите использовать для эксперимента. Укажите, на сколько сегментов и в каких долях нужно разделить аудиторию.

Далее необходимо подготовить кампании к тестированию. Сделайте несколько копий исходной кампании. Кампании-копии необходимо остановить. Одну кампанию оставьте без изменений, а в копиях – измените нужный параметр в соответствии с гипотезой. Все остальные параметры, рекламные материалы и бюджет должны быть одинаковыми.

На странице параметров в блоке Эксперименты нажмите Активные эксперименты и нацеливание → Изменить. Откроется окно настройки экспериментов. Отметьте нужные эксперименты. Обратите внимание, что одну кампанию можно одновременно подключить не более чем к пяти экспериментам. 

В настройках экспериментов вы также можете установить корректировки ставок для выбранного сегмента. После того, как все настройки выполнены, остановите исходную кампанию и одновременно запустите кампании-копии.

Просмотр результатов

Для того, чтобы оценить результат, мы отправляемся в интерфейс Метрики в раздел «Источники → Директ» сразу после того, как создали эксперимент, и переключаемся в режим сравнения. 

Как правило после запуска тестирования требуется подождать около двух недель, чтобы накопилось достаточно статистики. Если данных будет недостаточно, то нельзя будет сделать однозначный вывод о том, какой вариант сработал лучше.

Чтобы прикинуть, достаточно ли у нас данных для сравнения, нужно оценить их статистическую значимость. То есть убедиться, что существующий результат будет незначительно отличаться от того, который мы получили бы, если бы данных было намного, допустим, в тысячу раз больше. 

Как это сделать? Метрика самостоятельно рассчитает всё за нас!

Данных достаточно, когда показатели, по которым вы оцениваете эксперимент, выделены в отчете определенным цветом:

1. Зелёный говорит о том, что экспериментальный вариант оказался значимо лучше того, с которым вы его сравниваете.
2. Красный – значимо хуже.
3. Серый – данных достаточное количество, но показатели не отличаются.

Отсутствие цвета может означать одну из двух вещей:

1. Для показателя недоступно сравнение.
2. Данных еще недостаточно. Нужно подождать еще какое-то время или запустить новый эксперимент с другими настройками, позволяющими собрать больше трафика.

Дополнительный инструмент

Вместе с экспериментами вы можете использовать калькулятор проверки достоверности теста. С помощью A/B-экспериментов в Директе вы тестируете разные стратегии, например – оптимизацию количества кликов или среднюю рентабельность инвестиций. А калькулятор подскажет, какой из вариантов будет иметь лучший показатель CPA (стоимость целевого действия).

Шпаргалка

Чтобы рекламодателям было проще запускать эксперименты, Яндекс подготовил небольшой чек-лист по настройке эксперимента в Директе. Итак, что нужно проверить:

1. Гипотеза понятно и четко сформулирована.
2. Один эксперимент – одна гипотеза.
3. Счетчик Метрики подключен корректно, цели заданы.
4. В Директе счетчик Метрики добавлен в кампании.
5. Кампании в Директе таргетированы на нужные сегменты.
6. Одно изменение – один сегмент.
7. У кампаний одинаковый регион показа.
8. Кампании стартовали одновременно и работают одинаковый период.
9. Эксперимент проводится без пауз.
10. Данные за первый и последний дни эксперимента не учитываются при анализе результатов как неполные.
11. По результатам эксперимента статистически-значимые изменения запущены.
12. Выводы, полученные на маленькой выборке, не стоит экстраполировать на большие кампании.

Эксперименты в Директе – хорошая возможность протестировать не только разные варианты объявлений, но и настройки, типы кампаний и даже медиапланы. Все это поможет узнать, какой сценарий работы с рекламой в итоге окажется эффективнее для вашей компании.