A/B тестирование

Введение

Эмоции управляют людьми, а управление эмоциями людей – мечта каждого маркетолога. Как правило, все нововведения основаны на субъективном «мне кажется, что так будет красивее/удобнее». Гораздо реже под конкретное изменение проводится анализ мнения клиентов. Надеяться на субъективную оценку маркетолога можно, но рискованно. Собирать фокус-группу – затратно. Просто ввести изменение и посмотреть, что же произойдет по прошествии определенного времени, – не научно.

Так как же все-таки определить пользу изменений без потери клиентов и времени? Этот вопрос решает A/B тестирование. Его использование ведет к увеличению трафика клиентов и степени конверсии сайта, к росту количества продаж, кликов и лайков.

Что это такое?

Определение из Wiki:
A/B-тестирование (англ. A/B testing, Split testing) – метод маркетингового исследования. Суть метода заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп (в которых один или несколько показателей были изменены) для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Разновидностью A/B-тестирования является многовариантное тестирование. В этом случае тестируются не два целостных варианта, а сразу несколько элементов продукта или составных частей исследуемого объекта в различных сочетаниях, при которых каждый тестируемый элемент может быть двух видов (A или B).

Проще говоря, весь поток людей на сайте разбивается на две группы. Одной группе отображается главная страница, к примеру, с кнопкой Sign up (Вариант А). Второй группе – та же страница, но с кнопкой Sign up for free (Вариант В). Тестирование проводится сессионно. В конце каждой сессии подводится итог и вычисляется вариант-победитель. Пример же многовариантного A/B тестирования приведен на схеме:

Как тестировать?

Представим себе ситуацию: онлайн-банку нужно было увеличить количество заявок на кредитование физических лиц. На сайте уже существовал баннер с призывом заполнить заявку, но маркетологи предложили его доработать. В отдел тестирования были переданы два макета для проведения A/B тестирования:
Прежде всего, в отделе тестирования определились с инструментами, позволяющими зафиксировать статистику и проанализировать результат. В сети можно найти с десяток платформ для проведения A/B тестирования, среди которых наиболее популярны следующие:

Все они по-своему удобны и содержат достаточное количество функций для того, чтобы стать незаменимым помощником при проведении А/В тестирования. Выбор наших тестировщиков пал на бесплатный Google Content Experiment (данное решение входит в состав Google Analytics и умеет самостоятельно определять победителя).

С помощью данной платформы был создан эксперимент для тестирования на сайте банка. Для получения корректных результатов необходимо было провести несколько сессий тестирования длительностью в две недели. В первую сессию тестировщики получили неоднозначный результат (конверсия в двух вариантах была почти равна, поэтому определить победителя A/B тестирования не удалось). После серии подобных экспериментов, тестировщикам все-таки удалось получить четкий результат тестирования: победил второй вариант баннера (с фотографией семьи). Возможно, это было связано с тем, что последняя сессия пришлась на новогодние каникулы: ЦА была лояльнее и дружелюбнее.

Итог истории: если раньше заявку на кредит подавали 2 из 10 просмотревших баннер, то теперь – 4 из 10.

Возвратимся к инструментам A/B тестирования. Для инструментов, которые не умеют определять победителя, итоги сессии А/В тестирования можно обработать вручную или при помощи калькулятора. При ручной обработке необходимо учесть соотношение конверсии к числу посещений сайта. Это трудоемкий процесс, который потребует от вас сосредоточенности и точности; он может затянуться на несколько часов. Намного удобнее воспользоваться готовым решением – калькулятором: вам достаточно будет ввести результаты тестирования и получить вариант-победитель. Почти все калькуляторы для A/B тестирования англоязычные, но есть и русскоязычная версия.

Риски

Как и любой другой метод, A/B-тестирование имеет свои риски:
  • Для чистоты эксперимента стоит тестировать одно изменение за одну сессию. При необходимости изменения нескольких элементов сайта нужно набраться терпения и действовать последовательно по схеме:
  • Поток людей на сайте никогда не бьется поровну. Таким образом, у нас не получится определить вариант-победитель по количеству заявок, откликов и лайков .
  • Однозначный вариант-победитель в результате А/В тестирования определяется вероятностью выигрыша 95% и больше. Поэтому чаще всего 8 из 10 сессий тестирования не имеют успеха, а их результаты и потраченное время «летят в мусорное ведро».
  • Сайту с малым трафиком посещения для проведения эксперимента понадобится больше времени. Если ваш трафик стремится к нулю, то для адекватного результата тестирования потребуется не меньше 6 месяцев. В таком случае нужно искать альтернативу А/В тестированию: авторитетное мнение маркетолога, фокус-группа, статьи, книги и тд.

Итог

Как пишет большинство источников, А/В тестирование – это мощный инструмент интернет-маркетинга; он поможет понять, какие изменения на сайте приведут к более заметному росту количества клиентов, просмотров, звонков и продаж. Для проведения А/В тестирования не требуется сложных технических инструментов, все аналитические вычисления сделают за вас онлайн-решения. Пожалуй, самым слабым звеном метода является время, затрачиваемое на эксперименты: в условиях отсутствия возможности приостановки эксперимента для оценки промежуточных результатов каждый лишний день кажется вечностью.

А с какими трудностями столкнулись вы? Давайте пообщаемся в комментариях.

© 2010—2017. Лаборатория качества