Проверка на идеальность

Запустить с первого раза идеальный сайт или эффективную рекламную кампанию практически невозможно. Ведь никогда нельзя с точностью предугадать, как пользователи отнесутся к тому или иному дизайну, креативу и другим элементам. И если им что-то непонятно, неудобно, не видно, велика вероятность, что мы упускаем прибыль. Именно поэтому A/B-тесты – обязательная часть любого digital-проекта. 

Тестировать можно все: начиная от фона изображений в постах соцсетей, элементов email-рассылки, креативов в контекстной рекламе, заканчивая структурой сайта. На что обратить внимания при тестах, какими сервисами можно воспользоваться и как не допустить ошибки?

• Что можно тестировать
• Сервисы для проведения A/B тестов
• А что с соцсетями?
• Частые ошибки при A/B тестировании
• И еще несколько ситуаций, которые помешают A/B-тестированию
• Резюме

А/В-тестирование – метод, c помощью которого на двух небольших группах целевой аудитории сравнивают эффективность двух вариантов какой-либо переменной. Например, заголовков, CPA-кнопок, цветового оформления и т.д. Первой группе показывают вариант А, второй – вариант B. Отличительная черта таких тестов – это то, что сравнить можно только два варианта. Для сравнения разных сочетаний элементов (текст + синяя кнопка + изображение или текст + красная кнопка + видео) придется использовать мультивариантное тестирование (MVT).

1. Собираются данные и выявляются проблемы, которые надо решить. Например, это могут быть страницы с низкой конверсией. Для сбора данных подойдут отчеты Google Analytics, Яндекс.Метрики и других аналитических систем.
2. Ставятся цели тестирования и определяются показатели, по которым будет выявляться лучший вариант (например, пользователь находился на странице дольше или получено больше заявок с этой страницы).
3. Выдвигается гипотеза (например, «Вот этот текст на кнопке принесет больше переходов, чем текст, который расположен на ней сейчас. Он больше побуждает пользователя к действию»).
4. Создаются варианты и добавляются в специальный сервис для A/B-тестов.
5. Запускается тестирование, в ходе которого пользователям случайным образом показывают вариант A или вариант B.
6. Анализируются результаты. Как правило, сервисы предоставляют готовые отчеты, которые показывают, какой из вариантов оказался эффективнее.

Что можно тестировать

Если говорить о сайте, то протестировать на нем можно практически каждый элемент: заголовки, кнопки, ссылки, изображения, баннеры, тексты, дизайны отдельных страниц, формы для обратной связи, структуры страниц, шрифты и т.д. В рекламных кампаниях тестируются креативы, которые чаще всего состоят из текстов, изображений, видео. Также с помощью тестов можно выбрать наиболее подходящие места размещения, аудиторию, внести необходимы изменения в настройку показов. A/B тестирование проводится и для приложений (могут оцениваться элементы навигации, дизайна и т.д.). Многие сервисы для email-рассылок предлагают свои инструменты для тестирования, которые помогут выбрать лучший вариант призыва к действию, темы письма, его тип (HTML-шаблон или простой текст) и другие элементы.

Тестировать можно и такие элементы рекламного предложения, как цена. Например, указывая пользователю выгоду в денежном эквиваленте, есть шанс повысить конверсию. Это выяснил официальный дилер Toyota «Тойота Центр Челябинск Север», когда провел A/B-тестирование посадочной страницы с помощью Метрики. Тестирование показало, что, если указать на сайте выгоду при покупке автомобиля, а не его цену, можно получить +40% к конверсии.

https://yandex.ru/adv/solutions/cases/toyota-avtomir-ab-test

ВАЖНО! Тестировать нужно только один элемент. Например, два варианта текста на кнопке – это одно тестирование. Для того, чтобы понять, какой цвет должен быть у кнопки, необходимо запускать новый A/B тест. Подробнее об этом в разделе Частые ошибки при A/B тестировании.

Сервисы для проведения A/B тестов

Во многие рекламные площадки уже встроены опции для проведения А/Б-тестов, и мы рекомендуем ими не пренебрегать. Например, Яндекс.Директ и Google Ads предлагают составить несколько рекламных объявлений, которые будут показываться в ротации. Далее системы автоматически выберут самое кликабельное и начнут чаще показывать именно его. Это произойдет, как только по всем объявлениям будет накоплена достаточная статистика.

Для тестирования настроек рекламных кампаний в Директе можно провести Эксперименты с кампаниями. Они помогают протестировать различные предположения о работе рекламы, комбинации настроек, типы кампаний и даже медиапланы. Для запуска эксперимента нужен доступ к экспериментам в Аудиториях, Директе и Метрике. Если его нет, то нужно обратиться к вашему менеджеру в Яндексе. В Метрике должны быть настроены цели и выбраны счетчики, которые будут использоваться для эксперимента. Отчеты об Экспериментах можно посмотреть в Метрике или в Директе.

Подробнее о проведении Экспериментов с кампаниями можно узнать в справке. 

Один из бесплатных инструментов есть в Google Analytics. Он называется Content Experiments и находится в пункте меню «Поведение» => «Эксперименты». Google подчеркивает, что Эксперименты отличаются от обычных A/B тестов. Здесь можно тестировать не только разные версии страниц или комбинации компонентов страниц. В эксперименте можно добавить до десяти (!) полноценных версий одной страницы. Подробная инструкция представлена здесь. 

Convert – платный сервис стоимостью от 599 долларов в месяц. Что он предлагает: A/B, мультивариантное тестирование, персонализацию сайта, а также расширенные возможности таргетинга. Запросить демо-версию, чтобы попробовать сервис, можно здесь. 

А что с соцсетями? 

Здесь Facebook приготовил свой инструмент, который поможет протестировать рекламные кампании в Instagram и в самом Facebook. В ходе сплит-теста (это то же самое, что и A/B-тест) будет показываться две или более версий рекламы, которые различаются одной переменной. Это поможет выяснить, какой вариант рекламы принесет наилучшие результаты. Тестировать можно креативы, аудиторию, места размещения, события, группы продуктов. Сплит-тест создается в рекламном кабинете Ads Manager при выборе цели.

Большинство сервисов для email-рассылок дают возможность создать от 2 до 7 образцов письма для того, чтобы определить максимально эффективный вариант. Далее сервис может выбрать лучший вариант email по двум критериям: максимальное количество кликов и минимальное количество отписок. Впрочем, есть возможность провести полноценное A/B тестирование. Например, у SendPulse есть специальный инструмент для этого. В сервисе создаются два варианта письма. Контакты из выбранной адресной книги делятся на две группы по 20% от общего количества подписчиков в книге. Рассылка А и Рассылка В будет отправлена этим частям подписчиков. Сервис сам определяет наиболее эффективный вариант по заранее выбранной метрике и отправляет ее оставшимся 60% пользователям.

Источник: https://sendpulse.com/ru/blog/ab-testing

Частые ошибки при A/B тестировании

Ошибка 1. Использовать сервисы, которые выдают некорректные результаты.

Для проведения A/B-тестирование есть множество сервисов: платных и бесплатных. Каждый из них предлагает свой набор функционала и имеет свои особенности, что в свою очередь может исказить результаты тестирования. Например, одни сервисы будут снижать скорость загрузки сайта, другие – показывать большое увеличение конверсии, которое в итоге не будет соответствовать реальным результатам.

Как проверить корректность работы сервиса? Перед запуском A/B-тестов проводите A/A-тестирование. Его суть в том, чтобы проверить на одинаковых страницах, как работает сервис. Если A/B-тест ведет трафик на контрольную версию и вариацию и показывает, какая из них дает лучший результат, то в A/A-тесте трафик ведется на две одинаковых страницы. Если показатели этих страниц не отличаются, то значит сервис работает правильно, и A/B-тест можно запускать.

Ошибка 2. Тестировать только те варианты, которые сильно между собой отличаются.

Например, вы можете подготовить два креатива для рекламной кампании, которые будут иметь абсолютно разные изображения и тексты. Тестирование покажет, какой из этих креативов лучше сработал. Но дальше вы не сможете проанализировать, какой именно элемент «зацепил» пользователя: ему понравился текст или все-таки изображение. Или все вместе?

Что делать? Старайтесь проводить тесты между вариантами, которые максимально похожи друг на друга и отличаются одним элементом (например, фоном изображения). Собранная в результате тестов информация поможет вам и в будущем при разработке новых идей. 

Ошибка 3. Заканчивать тестирование после первых результатов.

Первые полученные данные не всегда могут оказаться верными, поэтому не стоит завершать A/B-тест раньше времени, даже если сервис предлагает такую возможность.  

Как рассчитать оптимальную продолжительность теста? Перед запуском теста рассчитайте оптимально время для его проведения. Это помогут сделать либо сами инструменты тестирования, либо вы можете воспользоваться специальным калькулятором. 

Ошибка 4. Концентрация только на количественных показателях.

Высокие количественные показатели – это хорошо. Но еще лучше, если они про прибыль. Вы можете собрать множество лидов, но часть из них окажется некачественными. Именно поэтому обращайте внимание не на количество пользователей, которые в итоге нажмут на кнопку заполнения формы или перейдут на сайт, а на то, сколько прибыли они принесут.

Что делать? Перед проведением тестирования сформулируйте такую гипотезу, которая будет основана на KPI, на изменениях в бизнес-показателях, а не просто на количестве.

И еще несколько ситуаций, которые помешают A/B-тестированию

Нет достаточного трафика. A/B-тестирование вряд ли даст результаты, если ваш сайт посещает 10 человек в день.

Не выстроена четкая гипотеза. А она – половина успеха в A/B-тестировании. Недостаточно просто предположить, что, поменяв цвет кнопки или изображение в рекламной кампании, вы получите больше лидов. Для построения гипотезы нужно обращаться к данным и четко определить проблему, которую A/B тестирование может решить. Перед построением гипотезы изучите свои отчеты Google Analytics, данные CRM-системы и результатов прошлых тестов (если они есть). Также пригодятся опросы пользователей и постоянных клиентов.

Нет понимания, как проводить тестирование. Банальная и очевидная причина, однако из-за нее получается неправильное построение гипотез, некорректные результаты и, как следствие, отсутствие прибыли у компании. Если вы ни разу не проводили A/B-тестирование, то лучше передать эту задачу профессионалам.

• лучше понять свою аудиторию, повлиять на поведенческие факторы;
• увеличить конверсию;
• повысить продажи и увеличить средний чек;
• собрать информацию, которая пригодится для разработки будущих рекламных кампаний.

Резюме

• При A/B-тестировании сравниваются две переменные и эффективность каждой из них;
• Перед началом тестирования нужно тщательно проработать гипотезы, а также определиться с целями, KPI и бизнес-показателями;
• Тестирование лучше проводить, имея достаточный опыт и знания. Ошибки в тесте могут привести к неправильным результатам;
• A/B-тесты;
• показывают, какие изменения нужно внести, чтобы повысить конверсию.