Контакты
Время работы:
с 10:00 до 19:00
E-mail:
Заказать звонок
Оставить заявку
logo
Эксперименты в Яндекс.Директ: как с ними работать

Эксперименты в Яндекс.Директ: как с ними работать

4 минуты на чтение
404

Запуск экспериментов в Яндекс.Директ теперь доступен всем рекламодателям. Ранее пользоваться этим инструментом можно было только по запросу – тем рекламодателям, кто уверенно работает с аналитикой. 

Теперь же для проведения теста и анализа его результатов больше не требуется каких-то специальных навыков. Новый отчет в Метрике позволит без труда проанализировать результаты эксперимента: система автоматически проверит, достаточно ли накопилось данных для анализа, и выделит наиболее и наименее выигрышные варианты. Давайте разбираться, как это работает.

Если говорить в двух словах, эксперименты в Директе – это своего рода A/B-тесты с широкими возможностями. С их помощью вы можете:

  • узнать, как влияют друг на друга кампании разных типов;

  • проанализировать зависимость конверсий на сайте от показов рекламы;

  • сравнить эффективность автоматических стратегий и ручного управления ставками;

  • выбрать наиболее эффективную стратегию

Эксперименты дают возможность протестировать различные предположения об эффективности рекламы, комбинации настроек, типы кампаний и даже медиапланы рекламных агентств.

Запуск эксперимента

Перед началом работы следует учесть несколько очень важных моментов:

  1. Тестировать нужно только одну гипотезу за раз.

  2. В идеале в эксперименте должно набираться хотя бы 200 конверсий для того, чтобы результат значимым с точки зрения статистики. Если данных не хватает, следует исследовать цель, идущую выше по воронке и достигаемую чаще.

  3. Если вы хотите сравнить эффективность ручной и автоматических стратегий, важно, чтобы за время теста кампании израсходовали одинаковое количество средств.

  4. Эксперимент невозможно провести для рекламы мобильных приложений и медийных кампаний со сделками.

Запускаются эксперименты в Аудиториях. На вкладке «Эксперименты» нажмите кнопку «Создать эксперимент». Введите название и выберите счетчик Метрики, который хотите использовать для эксперимента. Укажите, на сколько сегментов и в каких долях нужно разделить аудиторию.

Далее необходимо подготовить кампании к тестированию. Сделайте несколько копий исходной кампании. Кампании-копии необходимо остановить. Одну кампанию оставьте без изменений, а в копиях – измените нужный параметр в соответствии с гипотезой. Все остальные параметры, рекламные материалы и бюджет должны быть одинаковыми.

На странице параметров в блоке Эксперименты нажмите Активные эксперименты и нацеливание → Изменить. Откроется окно настройки экспериментов. Отметьте нужные эксперименты. Обратите внимание, что одну кампанию можно одновременно подключить не более чем к пяти экспериментам. 

В настройках экспериментов вы также можете установить корректировки ставок для выбранного сегмента. После того, как все настройки выполнены, остановите исходную кампанию и одновременно запустите кампании-копии.

https://yastatic.net/doccenter/images/support.yandex.ru/ru/direct/freeze/DHDx5OewDJPqkpco8IPShNhJqKc.png

Просмотр результатов

Для того, чтобы оценить результат, мы отправляемся в интерфейс Метрики в раздел «Источники → Директ» сразу после того, как создали эксперимент, и переключаемся в режим сравнения. 

https://lh4.googleusercontent.com/LTcOz6i9fFYkS-VLd9X7AaZaFJ05WGAgTkJEyriEksM1GW1Jyn58BDRxLeWqklWSkh9VIllK8g13dZ-I2b8MWnwFimmOeOFwOp5yDsXUEsqzFvy0GOZC8jIZ-e8gTjDmUL30r7odaBV9JWusPA

Как правило после запуска тестирования требуется подождать около двух недель, чтобы накопилось достаточно статистики. Если данных будет недостаточно, то нельзя будет сделать однозначный вывод о том, какой вариант сработал лучше.

Чтобы прикинуть, достаточно ли у нас данных для сравнения, нужно оценить их статистическую значимость. То есть убедиться, что существующий результат будет незначительно отличаться от того, который мы получили бы, если бы данных было намного, допустим, в тысячу раз больше. 

Как это сделать? Метрика самостоятельно рассчитает всё за нас!

Данных достаточно, когда показатели, по которым вы оцениваете эксперимент, выделены в отчете определенным цветом:

https://lh3.googleusercontent.com/pxlYQ2o5V1e09rWdHtAauNyOLHzsfUVVvqdINBUEWky6niwI5Ool6xWUr1iLRjZ3h6-D2fFDFu2Y41sVIO8ZuO72LwgrULYrXOqqVaq6SLnoD-eC9_gf-3DaavJBfGLdjT7lYtC5QJlqUdM1HQ

  1. Зелёный говорит о том, что экспериментальный вариант оказался значимо лучше того, с которым вы его сравниваете.

  2. Красный – значимо хуже.

  3. Серый – данных достаточное количество, но показатели не отличаются.

Отсутствие цвета может означать одну из двух вещей:

  1. Для показателя недоступно сравнение.

  2. Данных еще недостаточно. Нужно подождать еще какое-то время или запустить новый эксперимент с другими настройками, позволяющими собрать больше трафика.


Читайте также
Яндекс.Директ: что это такое и как он работает

Дополнительный инструмент

Вместе с экспериментами вы можете использовать калькулятор проверки достоверности теста. С помощью A/B-экспериментов в Директе вы тестируете разные стратегии, например – оптимизацию количества кликов или среднюю рентабельность инвестиций. А калькулятор подскажет, какой из вариантов будет иметь лучший показатель CPA (стоимость целевого действия).



Шпаргалка

Чтобы рекламодателям было проще запускать эксперименты, Яндекс подготовил небольшой чек-лист по настройке эксперимента в Директе. Итак, что нужно проверить:

  1. Гипотеза понятно и четко сформулирована.

  2. Один эксперимент – одна гипотеза.

  3. Счетчик Метрики подключен корректно, цели заданы.

  4. В Директе счетчик Метрики добавлен в кампании.

  5. Кампании в Директе таргетированы на нужные сегменты.

  6. Одно изменение – один сегмент.

  7. У кампаний одинаковый регион показа.

  8. Кампании стартовали одновременно и работают одинаковый период.

  9. Эксперимент проводится без пауз.

  10. Данные за первый и последний дни эксперимента не учитываются при анализе результатов как неполные.

  11. По результатам эксперимента статистически-значимые изменения запущены.

  12. Выводы, полученные на маленькой выборке, не стоит экстраполировать на большие кампании.

Эксперименты в Директе – хорошая возможность протестировать не только разные варианты объявлений, но и настройки, типы кампаний и даже медиапланы. Все это поможет узнать, какой сценарий работы с рекламой в итоге окажется эффективнее для вашей компании.


Хотите получать статьи и новости в удобном формате? Подписывайтесь на наш Телеграм-канал.  


Материалы по теме
Кейс: как MediaNation нарастило бизнес сети «Линзмастер» на 20%
Google Ads: что это такое и как она работает
Эксперименты в Яндекс.Директ. Как с ними работать