Что такое эксперименты в яндекс директе
Перейти к содержимому

Что такое эксперименты в яндекс директе

  • автор:

Эксперименты в Яндекс.Директе: запускаем первый А/Б-тест

Зимой Яндекс запустил новый инструмент для сплит-тестирования рекламы в Яндекс Директе — Эксперименты. Специалисты WebCanape поделились опытом применения этого инструмента на своих проектах. В кейсе подробная инструкция по подключению, настройке и анализу.

Не бывает одного правильного способа настроить объявление. Делать ставку на единственный вариант настроек, текст, аудиторию — провальная стратегия. Для успеха рекламной кампании необходимо экспериментировать. В незапамятные времена (в прошлом году) мы все тестировали различные сеты настроек вручную, теперь же в Яндекс.Директе появился инструмент, который позволяет автоматизировать процесс A/Б-тестирования. Называется этот волшебный инструмент «Эксперименты».

Когда вы запускаете тест, система случайным образом разделяет аудиторию на сегменты. Количество и размер сегментов вы определяете самостоятельно. При этом выборки могут быть разными — можно установить размер каждой группы от 1% до 99%, чтобы в сумме получилось 100%. Сейчас «Эксперименты» доступны по запросу, и подключают их за пару дней.

Экспериментировать на старте новой кампании обязательно. Мы же запустили этот инструмент на старом проекте с небольшим бюджетом — чтобы попробовать и дальше использовать его на других проектах. Рассказываем, что из этого вышло.

Клиент: «Займ Гарант» — компания выдает микрозаймы физическим лицам.

Регион: Республика Хакасия.

Бюджет: 15 000 рублей (на рекламу в месяц).

Проблема: мы крутим рекламу с 06:00 до 24:00, но в этом промежутке есть временные периоды, которые не приносят конверсии, расходуя бюджет без отдачи. До запуска «Экспериментов» нам приходилось ковыряться в Метрике и разбираться, есть ли эффект от ночных показов. Вручную мы выявили, что крутить рекламу по ночам неэффективно, а теперь задача состоит в том, чтобы определить в диапазоне с 6 до 24 часов периоды, когда реклама не дает желаемых результатов, и перераспределить бюджет.

Решение: подключили «Эксперименты», чтобы провести A/Б-тестирование на день и вечер. Новый новый инструмент Директа упрощает анализ.

Мы сотрудничаем с компанией «Займ-Гарант» c 2015 года. За годы работы мы провели всевозможные виды оптимизации. Проект рекламируется по 150 фразам и получает около 300 переходов из рекламы в месяц при средней цене клика 52,47 рубля. Семантическое ядро не требует большого бюджета, потому что трафик по ключевым словам в регионе не такой большой.

Подключение инструмента «Эксперименты» в аккаунте

Инструмент сравнительно новый, поэтому в нашем аккаунте он подключен не был. Чтобы получить к нему доступ, нужно связаться с менеджером Яндекса или оставить заявку на подключение инструмента через форму в разделе «Контекстная реклама». Сейчас сплит-тестирование подключается в экспериментальном режиме для каждого клиента отдельно, на агентском аккаунте подключить инструмент пока нельзя.

В заявке надо обязательно указать логин, домен клиента и примерный план эксперимента (это такая формальность, что можно особенно ничего не расписывать — мы просто написали, что хотим протестировать новый инструмент). Такая заявка попадет к менеджеру, и он откроет доступ к новому инструменту. Но не сразу. Пару дней придется подождать. После подключения в Яндекс.Аудиториях появится вкладка «Эксперименты». С ней мы и будем работать.

Вкладка «Эксперименты» в Яндекс.Директе
1. Настройка экспериментов

Прежде чем приступить к настройке, продумайте гипотезу, которую будете проверять с помощью сплит-тестов. Кто-то скажет, что гипотезы ограничиваются лишь вашей фантазией, но лучше все-таки отталкиваться от реальной проблемы. Например, наша гипотеза была в том, что в конкретное время суток одно и то же объявление будет приносить больше конверсий, чем в другое. Чтобы ее проверить и выяснить, когда все-таки лучше крутить рекламу микрофинансовой организации, мы решили сравнить эффективность объявлений в разные временные периоды:

  • с 06:00 до 15:00
  • с 15:00 до 24:00

Чтобы отключить период с 00:00 до 06:00, нам пришлось потратить время на анализ данных в Метрике. Теперь же, после завершения эксперимента, всю информацию можно будет увидеть в одном отчете.

Первым делом необходимо создать новый эксперимент: придумываем ему название, выбираем счетчик и делим на сегменты (на два и больше).

Важно! Сегменты Экспериментов и сегменты Метрики — это не одно и то же. Это разные сегменты, не связанные между собой.

Нажимаем «Создать эксперимент». Доступ настраивать не нужно, потому что мы все делаем не в агентском аккаунте. Инструмент пока не подключают в аккаунтах агентств.

Новый эксперимент

Эксперимент для A/Б-тестирования готов и выглядит так:

Если нажать на кнопку «Результаты», откроется Яндекс.Метрика с новым отчетом, в котором подсчет сегментов будет по всем кампаниям. Мы же будем проводить тестирование в рамках одной поисковой кампании, а смотреть результат будет удобнее в Мастере отчетов Яндекс.Директа.

2. Подготовка кампании для эксперимента и запуск

Для эксперимента взяли рекламную кампанию на поиске. Перед подключением настроенных сегментов необходимо сделать две копии исходной кампании (по количеству тестовых сегментов).

На скриншоте видны исходная кампания и две ее копии с пометками — в нашем случае добавлены названия сегментов.

Дальше нужно установить все необходимые настройки для кампаний исходя из определенных нами условий для сегментов. То есть мы настраиваем в каждой кампании нужный временной таргетинг: для сегмента A выставляем время с 06:00 до 15:00.

Важно! Временной таргетинг не может охватывать меньше 40 часов в рабочие дни.

Как проводить эксперименты в Яндекс.Директе

Нет универсального способа настраивать рекламу для всех ситуаций и бизнесов. Это касается и настроек, и текстов объявлений, и аудиторий, которым вы хотите показать эти объявления.

Полагаться на интуицию в этом случае точно не стоит. Лучше выяснить на практике, какие настройки кампаний сработают именно для вашего продукта, вашей компании. Без тестирования тут не обойтись. Провести его можно с помощью экспериментов в Яндекс.Директе.

Благодаря этому инструменту вам не придется вручную проводить сплит-тесты, этот процесс Яндекс автоматизирует и делает максимально простым и прозрачным. Как запускать и проводить эксперименты, смотрите в этом руководстве.

В чем помогают эксперименты

Эксперименты – это те же сплит-тесты, только с дополнительными возможностями. То есть тестирование разных комбинаций настроек, плюс к этому вы можете:

1) Выяснить, как влияют друг на друга кампании разных типов.
2) Посмотреть, как целевые действия на сайте зависят от показов рекламы.

3) Сравнить, как работают автостратегии и ручное назначение ставок, и на основании этого решить, какая стратегия больше подойдет.

4) Сравнить разные медиапланы (полезная штука для рекламных агентств).

Рекомендуем использовать эксперименты, прежде чем запускать любую новую рекламную кампанию, чтобы убедиться в том, что её нужно запускать в полную силу.

Всё происходит следующим образом. Вы задаете количество и размер (долю) сегментов, а Яндекс случайным образом разделяет вашу аудиторию на эти сегменты.

Ограничение: нельзя проводить эксперименты для рекламы мобильных приложений и медийных кампаний со сделками.

До запуска эксперимента

Учитывайте два момента:

1) Лучше для одного эксперимента брать одну гипотезу на проверку, как изменится один параметр. Сразу же решите и сформулируйте, что именно вы хотите проверить.

2) Эксперимент есть смысл проводить, если, во-первых, у вас настроены цели в Яндекс.Метрике. И во-вторых, цель, которая важна для эксперимента, набирает от 200 конверсий и больше ежемесячно. Только так вы получите статистически значимые результаты.

Если данных недостаточно, попробуйте взять цель, которая идет выше по воронке продаж и которую пользователи достигают чаще.

3) И еще один момент относительно стратегий: если вы сравниваете ручную и автостратегию, чтобы делать какие-то основательные выводы, нужно, чтобы за время теста на оба варианта израсходовалось одинаковое количество бюджета.

Как запускать эксперимент

Сейчас эксперименты доступны в интерфейсе Яндекс.Директа по умолчанию, не нужно делать запрос на доступ к этой функции.

Она находится в Яндекс.Аудиториях. Перейдите на вкладку «Эксперименты» и кликните «Создать эксперимент» или «Создать первый эксперимент», если пользуетесь этим инструментов впервые.

Эксперименты в Яндекс.Директе – кнопка создания эксперимента

Эксперименты в Яндекс.Директе – настройки эксперимента в Аудиториях

здесь вы заполняете:
1) Название эксперимента.

2) Номер счетчика Метрики, из которого подтянутся данные о целях. Можно выбрать из выпадающего списка нужный:

Эксперименты в Яндекс.Директе – выбор счетчика

Или добавляете нажатием на кнопку:

Эксперименты в Яндекс.Директе – добавление счетчика

Можно добавить таким образом несколько счетчиков в один эксперимент.
3) Количество и долю сегментов для тестирования, например:

Эксперименты в Яндекс.Директе – пример разделения на сегменты

По умолчанию – два сегмента 50 / 50. По факту они необязательно должны быть равномерными: это может быть и 90 / 10, 70 / 30 и т.д.

При необходимости можно разделить аудиторию более, чем на 2 тестовых сегмента, нажав «Добавить сегмент»:

Эксперименты в Яндекс.Директе – добавление новых сегментов

Как подготовить кампании для тестирования

1) Создайте несколько одинаковых тестовых кампаний.

Быстрее создать одну исходную и скопировать нужное количество раз. Для этого отметьте её галочкой в списке кампаний и выберите действие «Копировать»:

Эксперименты в Яндекс.Директе – кнопка для копирования кампании

2) Поменяйте статус тестовых кампаний на «Приостановлена».

3) Измените один параметр, который хотите протестировать, в каждой тестовой кампании. Остальные настройки (параметры, объявления и бюджет) оставьте без изменений.

4) Во всех кампаниях добавьте счетчики Метрики, которые вы указали при создании эксперимента.

Эксперименты в Яндекс.Директе – добавление счетчиков в Директе

5) Прикрепите кампании к нужным экспериментам в дополнительных настройках.
При редактировании кампаний в блоке «Эксперименты» нажмите кнопку «Изменить».

Эксперименты в Яндекс.Директе – добавление экспериментов в Директе

Затем в окне настройки экспериментов выберите эксперимент, который ранее создали в Яндекс.Метрике.
Одну кампанию можно одновременно использовать максимум в 5 экспериментах.

6) В каждой тестовой кампании выберите сегмент аудитории, которому будут показываться объявления этой кампании.

Объясним на простом примере. Допустим, у вас 2 сегмента – мужчины и женщины. При создании эксперимента вы задали им доли 45 и 55 соответственно. Если в одной из тестовых кампаний вы выбираете сегмент мужчин, значит, рекламу этой кампании увидят 45% от мужчин из всей аудитории.

Если нужно, установите корректировки ставок для выбранных сегментов. Для этого активируйте опцию и укажите, на какой процент повысить или понизить ставки по рекламной кампании.

Эксперименты в Яндекс.Директе – настройка эксперимента в Директе

7) Когда всё готово, запустите одновременно все тестовые кампании.

На этом настройка эксперимента завершена. Дальше нужно подождать не менее 2 недель, а лучше месяц, чтобы накопить достаточно статистики для получения достоверных результатов.

Где смотреть результаты эксперимента

Первое – это Мастер отчетов в Яндекс.Директе с данными о расходах. Отметьте следующие столбцы для отображения и выберите условие фильтрации «Эксперименты». Выберите нужный эксперимент.

Эксперименты в Яндекс.Директе – фильтрация по экспериментам в Мастере отчетов

В итоге важно понять, какое размещение рекламы более рентабельное.

Второе – это стандартный отчет в Яндекс.Метрике, который называется «Директ, эксперименты». Из него вы узнаете данные о конверсиях.

Эксперименты в Яндекс.Директе – Директ, эксперименты

Далее в этом отчете выберите нужный эксперимент и сегмент с кампаниями в Яндекс.Директе, созданными для этого эксперимента.

Перейдите в режим сравнения и выберите цели. Вы увидите примерно такую таблицу:

Эксперименты в Яндекс.Директе – результаты эксперимента

В режиме сравнения в нем выделяются цветом следующие метрики:

  • Просмотры
  • Визиты
  • Целевые визиты
  • Посетители
  • Целевые посетители
  • Достижения цели
  • Достижения цели на посетителя
  • Конверсия
  • Конверсия посетителей
  • Отказы

и некоторые другие.
Что значит тот или иной цвет?

Зелёный – экспериментальный вариант (сегмент) сработал лучше, чем тот, с которым вы его сравниваете, красный – наоборот значительно хуже. Метрики, выделенные серым, по обоим вариантам не отличаются. Во всех трех случаях данных достаточно для оценки результата.

Если данные не выделены, это значит одно из двух:
1) Метрику нельзя применять в режиме сравнения.
2) Данных пока недостаточно.

Решение: подождите еще, чтобы накопилось больше статистики или поменяйте настройки эксперимента, чтобы быстрее собрать необходимый трафик.

Как видите, Метрика сама определяет, достаточно ли данных для анализа, что значительно облегчает вам работу.

Осталось сопоставить данные по обоим отчетам. Для этого:

  • Выберите одинаковые периоды
  • Отфильтруйте данные по одному и тому же региону показа.

Также убедитесь, что эксперимент не прерывался на протяжении выбранного периода.
Допустим, результаты такие:

Эксперименты в Яндекс.Директе – сопоставление результатов Метрики и Директа

В этом примере при одинаковых затратах сегмент Б принес на 150% больше конверсий, чем А. При этом стоимость достижения цели уменьшилась на 60%. То есть кампания на сегмент Б эффективнее.

Естественно, если данных недостаточно, принимать решение, основываясь на этом результате, не стоит. Однако, как и в любом машинном алгоритме, в Метрике неизбежны погрешности.

Как учитывать погрешность

Реальное значение показателей всегда будет немного отличаться от того, что вы увидите при проведении эксперимента. Погрешности нет только в теории: если бы экспериментальная кампания длилась бесконечно.

В режиме сравнения включите отображение погрешности. Вы увидите, на сколько процентов возможен разброс величины. Соответственно, чем ниже погрешность, тем выше вероятность, что значение метрики истинное, и наоборот.

Также проверять достоверность теста можно с помощью Калькулятора достоверности A/B тестирования. Он позволяет быстро оценивать результаты по нескольким стратегиям назначения ставок и определять самый эффективный набор инструментов и форматов по показателю CPA (стоимости целевого действия).

Введите свои данные в пустые поля:

Эксперименты в Яндекс.Директе – калькулятор достоверности

Здесь нужны:

  • Данные по сегментам: размер, расходы, конверсии, клики.
  • Целевое p-value (уровень значимости) – степень вашей уверенности в результатах эксперимента. Рекомендуемое значение 80%.
  • Максимальный коэффициент жесткости дополнительных инвестиций – во сколько раз вы готовы увеличить инвестиции в рекламу для получения большего числа конверсий.

В результате расчета в последнем столбце появится слово «Да» напротив того сегмента, который эффективнее.

Эксперименты в Яндекс.Директе – пример расчета в калькуляторе достоверности

Или «Нет» – напротив того, который показал хуже результат. Если там будет знак вопроса, между сегментами нет статистически значимой разницы, и определить лучший невозможно. Узнать точную причину этого также почти невозможно.

Когда вы всё проанализируете и сделаете выводы, эксперимент можно завершать, а тестовые кампании все одновременно останавливать. В настройках кампании-победителя, которую вы хотите запускать «на боевую», не забудьте отключить эксперимент.

И напоследок – чек-лист в помощь для запуска эксперимента.

Чек-лист

1) Гипотеза сформулирована.
2) Счетчик Метрики с целями подключен.
3) Эксперимент в Яндекс.Аудиториях создан + тестовые кампании созданы и запущены.
4) Эксперимент длится непрерывно.
5) Необходимое количество данных собрано.

6) а) Метрика показывает более эффективный вариант, либо б) выдает результат, что по эффективности они значительно не отличаются.

7) а) Эксперимент завершен, вариант-победитель запущен «на боевую» б) настройки эксперимента изменены и он запущен заново, до получения статистически значимых результатов.

Как видите, для тестирования не нужно использовать навороченные дорогие инструменты или вручную что-то считать. Все за вас сделают инструменты Яндекса.

Высоких вам конверсий!
Похожие статьи

Хотите тоже написать статью для читателей Yagla? Если вам есть что рассказать про маркетинг, аналитику, бизнес, управление, карьеру для новичков, маркетологов и предпринимателей. Тогда заведите себе блог на Yagla прямо сейчас и пишите статьи. Это бесплатно и просто

Опубликовано редакцией Yagla
Читайте ещё статьи по этой теме

Где и как хранить пароли от аккаунтов так, чтобы их не украли Статья

Безопасность личных данных в интернете – это то, о чем каждому из нас приходится заботиться. При регистрации на сайтах и в интернет-магазинах, авторизации в соцсетях, пользовании электронной почтой и самыми разными приложениями.

В каком статусе лучше работать фрилансеру: ИП, самозанятость или без регистрации Статья

Как грамотно организовать работу и не нарваться на неприятности, если вы собираетесь идти во фриланс? Нужно ли регистрироваться? Что выбирать – ИП или самозанятость? Ответы на этот и другие организационные вопросы – в нашей статье. . 1

Как связаны дизайн и конверсия сайта: неожиданные открытия Статья

Красивая картинка продает? Если отвечать не задумываясь – да. Вроде бы всё логично: на неё приятно смотреть, значит, она будет мотивировать.

Показать ещё
Написать комментарий
Обсуждаемое

Полный гайд по маркировке рекламы: как упростить себе жизнь и не попасть на штрафы Статья

Привет, мы команда Vitamin. tools — рекламной экосистемы, возвращающей до 16% с пополнения рекламы. 1

Как выбрать дизайн для лендинга и не пожалеть? Статья

Самая основная проблема, с которой мы частенько сталкиваемся: к нам приходят клиенты, которые говорят, что им нужен сайт, как у Apple. Т.

Как настроить эффективную рекламу в товарной галерее? Статья

Товарная галерея – это не просто настройка рекламной кампании, это еще и хороший сайт, и правильно настроенный фид. .

Как выбрать дизайн для лендинга и не пожалеть? Статья

Самая основная проблема, с которой мы частенько сталкиваемся: к нам приходят клиенты, которые говорят, что им нужен сайт, как у Apple. Т.

Сильные и слабые офферы для лендингов Статья

Наверное, вы не раз видели подобные изображения. .

Как измерить эффективность лендинга: количественные и качественные метрики Статья

Я общался со многими предпринимателями, проводил кастдевы, диагностики и узнал, что мечта любого предпринимателя, который еще не дошел до своего первого миллиона, – это зарабатывать 1 млн в месяц, работая 2-3 часа в день. .

Что такое эксперименты в яндекс директе

8 800 222-53-17 г. Самара, ул. Стара-Загора 96 «Б», офис 18 Блог Seodroid

сервис оптимизации и автоматизации Яндекс.Директа

Рассылаем материалы по интернет-маркетингу каждые две недели:

Подписаться

Нажимая на кнопку, Вы даете согласие на обработку своих персональных данных. Политика конфиденциальности

Свежие записи

  • Как подружиться с обязательным автотаргетингом от Яндекса?
  • Создание отчетов стало удобнее с обновленным конструктором отчетов
  • Создание заголовков объявлений стало еще проще с новым инструментом — конструктор заголовков
  • Конструктор минус-слов — сервис, ускоряющий ручной сбор минус-слов для рекламной кампании
  • Как запустить рекламу для интернет-магазина за один день и получить первые заявки

Свежие комментарии

  • Иван к записи Товарная галерея в поиске по товарам и новые показатели в Мастере отчётов Яндекс.Директа
  • Sergey к записи 17 книг, которые стоит прочитать специалисту по контекстной рекламе в 2022 году
  • Ольга Кочкина к записи Google Data Studio: шаблон отчета
    по контекстной рекламе
    для клиентов
    + инструкция
  • Ксения к записи Google Data Studio: шаблон отчета
    по контекстной рекламе
    для клиентов
    + инструкция
  • Ольга Кочкина к записи Подводные камни при работе с ключевыми словами в Яндекс.Директ. Исчерпывающий список ошибок

Как проводить эксперименты и A/B-тесты в Яндекс.Директе

А/B-тест или эксперимент в Яндекс.Директ — популярный способ маркетингового исследования. Он позволяет выяснить, какая стратегия продвижения работает лучше. С помощью A/B-теста можно оценить эффективность элементов рекламы, например: эффективность картинки, УТП, наличия кнопки призыва к действию, заголовка и т. д.

Объявления в A/B-тестах обычно одинаковые, за исключением одной детали, например, разных заголовков.

Пример объявлений для A/B теста в Яндекс.Директ

Пример объявлений для A/B теста в Яндекс.Директ

В этой статье разберем сценарии A/B тестов: когда проводить, зачем, откуда брать гипотезы для тестирования, а также как запускать эксперименты в Яндекс.Директ.

Сценарии применения A/B тестов

Сценариев применения A/B тестов множество, но самые частые это:

  • тестирование функционала рекламной площадки: на каких форматах объявление отрабатывает лучше, на какой стратегии и т. д.
  • анализ выгодного формата рекламы для вашего бизнеса: где лучше запускаться — Поиск, РСЯ и т. п.
  • анализ объема денежных затрат: куда перенаправить, на какое направление, на какие кампании.

Когда проводить A/B-тесты в Яндекс.Директ

A/B-тесты лучше проводить, когда текущие кампании и метрики настроены, отрабатывают и дают конверсии, но у вас есть желание что-то поменять и улучшить.

A/B-тест — удовольствие недешевое и запускать потребуется от 2-х похожих кампаний на срок от 3-х недель, поэтому чаще тесты проводят на действующих кампаниях, которые уже принесли прибыль и не лишатся ее при запуске эксперимента.

Для чего использовать A/B-тесты в Яндекс.Директ

A/B-тесты используют для проверки гипотез и предложений. Тесты могут касаться проверки эффективности отдельных элементов текста, изображений на креативах и т.д., но также пригодны в случаях, когда вы решили поменять дизайн посадочной страницы внутри рекламной кампании, которая пару лет хорошо отрабатывает. Естественно, если кампания работает хорошо и долго, трогать ее боязно, особенно в Яндекс.Директе, где легко сломать и тяжело построить. В случае таких изменений также используют A/B-тест. Если вам кажется, что в другом дизайне посадочная отработает лучше — не факт, что тоже самое решит ваша аудитория.

На основе чего создавать идеи для A/B-тестов

A/B-тесты используют для улучшения, потому все идеи для них отталкиваются от желания улучшить. Чтобы понять, в каких рекламных кампаниях вы не дотягиваете, можно обратиться к:

  • аналитике. Посмотрите отчеты метрики по кампаниям, сравните их с вашими внутренними отчетами по продажам, так сможете выяснить, на какие направления уходит бюджет, но не приходит прибыль.
  • отделу продаж. Консультация с отделом продаж даст понять с каких кампаний приходит некачественный трафик, оценить его не только по цифрам, но и по разговору, который обычно у отдела продаж сохраняется. Также сотрудники отдела могут подсказать, чего не хватает в текущих кампаниях, каких уточнений, которые помогут отфильтровать нецелевых клиентов.
  • конкурентам. Все мы анализируем конкурентов на рекламном аукционе в том числе. Когда конкурент вводит что-то новое в свои объявления, можно обдумать это и поразмышлять, стоит ли вносить тематические корректировки у себя?

С чего начать планирование A/B-теста

Планирование A/B-теста начинается с обсуждения гипотез и теорий. При этом стоит опираться на конкретные цифры в отчетах, а не на личное ощущения того, что «эта кампания приносит меньше конверсий, чем та».

При формировании гипотез можно фокусироваться не только на цели увеличения прибыли, но и над другими целями вроде: увеличение глубины просмотра страницы, посещаемости, уменьшение показателей отказа, повышение осведомленности о бренде и т. д.

Создайте список гипотез, которые хотите проверить и выделите из них наиболее важные, потому что количество A/B-тестов зависит от вашего бюджета, которого, зачастую, не хватает на все выдвинутые теории.

Также при планировании тестов не забывайте о денежных рисках. Тесты могут завершиться неудовлетворительно или не дать конкретного ответа на вопрос, потому не стоит рассчитывать, что вы ничего во время эксперимента не потеряете.

Настройка эксперимента в Яндекс.Директ и запуск

Для запуска эксперимента представим, что решили протестировать две посадочные страницы с одинаковым текстом, но одна в старом дизайне, а другая — в новом.

Чтобы начать тестирование, нужно перейти в Яндекс.Аудитории → Эксперименты и создать эксперимент.

Создание эксперимента в Яндекс.Директ

Создание эксперимента в Яндекс.Директ

В настройках создания эксперимента вводим название теста, чтобы оно было емким и отражало суть эксперимента. Указываем счетчик Яндекс.Метрики, по которому будет собираться статистика, а также определяем процентное соотношение тестируемого объема аудитории. Чаще это 50/50, но если под вашу гипотезу нужен другой объем и количество сегментов, можете задать иные значения.

Настройка параметров эксперимента в Яндекс.Директ

Настройка параметров эксперимента в Яндекс.Директ

После того, как настроили параметры эксперимента, он отобразится в общем списке, а по кнопке «Результаты», когда статистика будет собрана, можно перейти в метрику и посмотреть итоги A/B теста.

Отображение списка экспериментов в Яндекс.Директ

Отображение списка экспериментов в Яндекс.Директ

Отчёт по результатам A/B теста в Яндекс.Директ

Отчет по результатам A/B теста в Яндекс.Директ

После создания аудитории для эксперимента нужно запустить кампании в рамках A/B теста. Для этого зайдите в Яндекс.Директ и создайте две (или более) рекламные кампании.

Стоит учесть, что:

  • если вы проводите эксперимент на уже существующую кампанию, то копируете ее, а после меняйте детали в скопированных кампаниях;
  • если вы проводите эксперимент с нуля, то создайте две (или более) идентичные кампании с одним отличием, влияние которого хотите проверить в ходе эксперимента.

На своем примере мы покажем запуск A/B теста 50/50 в условиях уже работающей кампании. Напоминаем: наша цель — поменять дизайн посадочной страницы, которая дает хорошие конверсии на текущей РК. После того, как скопируем текущую РК, мы установим дату запуска новых кампаний на следующий день после остановки основной — почему? — потому что A/B тест на текущую кампанию нельзя запускать во время ее работы. Компании начнут конкурировать, статистика будет ошибочной.

Как скопировать группу объявлений в Яндекс.Директе

Как скопировать группу объявлений в Яндекс.Директе

После того, как скопировали кампанию, в параметрах нужно открыть Дополнительные настройки → Эксперименты и выбрать тот эксперимент, что ранее настроили.

Дополнительные настройки в параметрах кампании Яндекс.Директ

Дополнительные настройки в параметрах кампании Яндекс.Директ

Настройка эксперимента для кампании Яндекс.Директ

Настройка эксперимента для кампании Яндекс.Директ

После того, как эксперимент подключен, а нужные правки, влияние которых вы хотите проверить, внесены, основную кампанию, с которой копировали тестовые — останавливаем и запускаем тестовые. Если основной кампании не было, то просто запускаем тестовые.

После запуска эксперимента следим за кампаниями и собираем статистику. В среднем Яндекс раскачивает кампании к третьей неделе, потому закладывайте бюджет минимум на три недели теста.

Если у вас возникают затруднения с настройкой рекламы, советуем прочесть нашу статью Как самостоятельно настроить рекламу в «Яндекс.Директе» а также Как собрать минус-слова для Яндекс.Директ.

Что нужно учитывать при проведении эксперимента в Яндекс.Директ

1. За один раз тестируем одну гипотезу

Лучше розовые креативы или синие? Короткий заголовок или длинный? Больше текста или меньше? Все это тестируется отдельно друг от друга, когда остальное остается идентичным. Если пытаться проверить несколько теорий на одном эксперименте, то оценить влияние каждой на общий результат будет сложно.

2. Копим конверсии

Для адекватной оценки результатов эксперимента нужно накопить не менее 200 конверсий за месяц. Это не обязательное правило, но желательное, которое позволит точнее оценить результативность теста.

3. После теста НЕ запускаем оригинальную кампанию, если она была.

Если вы во время своего эксперимента создавали кампании при помощи копирования основной РК, то после окончания A/B теста основную кампанию НЕ включайте. Причина: после простоя кампания уйдет на модерацию и может перестать выдавать те результаты, которые давала перед началом тестирования.

По завершению A/B теста оставляйте работать ту кампанию, которая дала наилучшие результаты, а остальных участников эксперимента отключайте.

Примечание: не забудьте перевести 100% аудитории на оставшуюся кампанию, потому что во время теста у вас шел другой процент трафика.

Где смотреть результаты экспериментов в Яндекс.Директ?

Результаты эксперимента можно смотреть как в Аудитории → Эксперименты, так и в отчетах Яндекс.Метрики.

Где смотреть результаты экспериментов в Яндекс.Метрике

Где смотреть результаты экспериментов в Яндекс.Метрике

Чтобы вам было проще принять решение на основе результатов эксперимента, можно воспользоваться калькулятором Яндекса для проверки достоверности A/B-тестирования. Для подсчета в него потребуется скопировать результаты эксперимента.

Калькулятор достоверности A/B тестирования

Калькулятор достоверности A/B тестирования

Вывод

Запускать A/B-тесты нужно для улучшения работы рекламных кампаний. Просто так запускать эксперименты нет смысла, потому что можно «слить» бюджет.

Если вы сомневаетесь в своих силах и хотите ответственно подойти к запуску A/B-тестов в Яндекс.Директ, то советуем обратиться к нашим партнерам. Профессионалы помогут реализовать задумку, увеличить конверсии или просто проконсультируют по насущным вопросам работы с рекламной системой.

Создать аккаунт на AdvantShop

На платформе вы сможете быстро создать интернет-магазин, лендинг или автоворонку.

Воспользоваться консультацией специалиста

Ответим на любые ваши вопросы и поможем выйти на маркетплейсы.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *