А и B: какие бывают тестирования в бизнесе и зачем они нужны: практические инструменты и упражнения

A/B-тесты — отличный способ проверить маркетинговые гипотезы и повысить продажи. Но не все знают, как правильно пользоваться этим инструмефнтом. В этой статье разбираемся, что такое A/B-тесты и какие задачи в бизнесе они помогут решить. 

А/Б-тестирование (AB testing) — метод исследования для оценки эффективности двух вариантов одного элемента. В маркетинге это может быть кнопка на странице сайта, рассылка, заголовки и любые другие детали. Суть в том, чтобы на протяжении определённого времени показывать их двум сегментам аудитории. 

Итак, разберём пошагово, как работает тестирование и что для него нужно сделать. 

Выбор переменной для тестирования

Проведение A/B-теста нужно начинать с определения цели и метрик. Иначе будет трудно оценить результаты. Метриками могут быть любые количественные показатели, которые используются в маркетинге — средний чек, количество заказов, кликабельность.

Google Optimize, или Google Оптимизация — инструмент, который помогает улучшать сайты и увеличивать их конверсию. Чтобы использовать сервис, вам потребуется аккаунт в Google, доступ к коду сайта или в Google Tag Manager, установленный на сайте счётчик Google Analytics, гипотеза для теста (например, вырастут ли регистрации, если заменить баннер на первом экране). Когда все будет готово, можно переходить к настройке A/Б-теста.

Optimizely — набор инструментов для улучшения сайтов и приложений, сбора статистики и анализа аудитории. При этом сервисы предоставляются пакетно, таким образом, можно выбрать необходимые инструменты.

Возможность проводить тестирование юзабилити страниц, настраивать сегментацию по пользовательским фильтрам и таргетироваться на определённую аудиторию делают метрику полезной для маркетологов. Кроме того, Optimizely предлагает отдельный тариф, рассчитанный на разработчиков — с помощью него можно отслеживать стабильность работы сайта или приложения. Пользоваться базовым тарифом можно без оформления договора, плата взимается за количество анализируемых посетителей, что удобно для начинающего бизнеса. 

Допустим, у вас есть интернет-магазин. Кнопка “купить” выделена красным цветом, но вы считаете, что это больше отпугивает, чем призывает купить продукт. Как узнать, действительно ли изменение цвета кнопки повлияет на конверсию и продажи? 

С помощью Google Optimize или Optimizely разделить аудиторию на контрольную и тестовую группы, создать две разные страницы и проверить опытным путём. Пользователи из каждой группы будут взаимодействовать с разными версиями сайта. В итоге конверсия у одной из кнопок окажется выше — исследование прошло успешно и можно вносить на сайт изменения.

Формулирование гипотезы

Гипотеза также является основой A/B-тестирования. Она должна содержать предположение, метрику и конечный результат: “Если мы [...], то [...]”. Выделяют два вида гипотез: нулевая — изменения не принесут ожидаемых результатов; альтернативная — изменения помогут достичь цели. 

Используйте для создания гипотез Microsoft Excel или Google Sheets. Создайте структурированный документ для вашей гипотезы, включая нулевую (H0) и альтернативную (H1). Сформулируйте гипотезу для вашего А/Б-теста. Например, "Смена цвета кнопки на зелёный увеличит кликабельность по сравнению с текущей синей кнопкой". Тестируйте только один элемент за один эксперимент. Если вы поменяете сразу несколько объектов, не удастся понять, какой из них лучше сработал. Если у вас есть несколько гипотез, необходимо провести несколько тестов. 

Расчёт объёма выборки

Чтобы эксперимент прошёл объективно, выборка должна быть репрезентативной. Также важно определить размер выборки. Для этого можно воспользоваться калькулятором от Optimizely (он вот тут ). В зависимости от объёма выборки, определите длительность тестирования — рассчитайте ежедневный трафик и посмотрите, сколько нужно дней, чтобы собрать достаточно данных. В среднем для этого требуется две недели. 

Допустим, наш магазин одежды ориентирован на женщин и мужчин от 18 до 35 лет. При этом, женская аудитория составляет 70% от общего числа. Значит, чтобы выборка была репрезентативной, необходимо собрать группу, которая будет полностью соответствовать этим показателям — в ней должно быть 70% женщин, 30% мужчин от 18 до 35 лет. Нужно определить две таких группы — экспериментальную и контрольную. Одной аудитории мы показываем вариант сайта A, другой — вариант B. Только в этом случае тест будет корректным. Если выборка окажется нерепрезентативной, результаты эксперимента окажутся под сомнением. 

Предположим, в день сайт посещают 10 тысяч человек. Калькулятор показал, что для объективности эксперимента два варианта формы должны увидеть в общей сложности 100 тысяч пользователей. Получается, 100/10=10 дней для получения результатов. 

Настройка эксперимента

Определитесь с площадкой, с помощью которой будете проводить эксперимент. Приступайте к оценке данных только тогда, когда эксперимент закончится. 

Используйте Google Analytics (бесплатный сервис, предоставляемый Google для создания детальной статистики посетителей веб-сайтов. Статистика собирается на сервере Google, пользователь только размещает JS-код на страницах своего сайта. Код отслеживания срабатывает, когда пользователь открывает страницу в своем веб-браузере) или Mixpanel (компания, предоставляющая услуги аналитики событий, которая отслеживает взаимодействие пользователей с веб-приложениями и мобильными приложениями. Собранные данные используются для создания настраиваемых отчетов и измерения вовлеченности и удержания пользователей). Настройте отслеживание ключевых метрик, которые вы хотите измерить.

Реализация теста

Чтобы начать тест, используйте CMS (система управления контентом) Система управления содержимым — информационная система или компьютерная программа, используемая для обеспечения и организации совместного процесса создания, редактирования и управления содержимым, иначе — контентом. Внесите необходимые изменения на вашем веб-сайте или в приложении. Например, поменяйте цвет кнопки с красного на синий.

Сбор данных и мониторинг

Используйте панель аналитики в реальном времени для отслеживания хода вашего А/Б-теста. Панель "Аналитика" позволяет добавлять динамические ссылочные строки, такие как min, max или average, в визуальные элементы. Эти строки помогут увеличить масштаб важных тенденций или аналитических сведений. Регулярно проверяйте панель аналитики, чтобы убедиться, что данные собираются правильно.

Анализ данных

Анализируйте собранные данные, чтобы определить, есть ли статистически значимая разница между группами А и В. В этом вам поможет статистический софт (например, R или Python с библиотеками, такими как SciPy). Нужно определить статистическую значимость, чтобы убедиться, что результатам можно доверять. Для этого есть множество калькуляторов. Вот один из них (https://mindbox.ru/tools/ab-test-calculator/). Проведите t-тест (класс методов статистической проверки гипотез, основанных на распределении Стьюдента. Наиболее частые случаи применения t-критерия связаны с проверкой равенства средних значений в двух выборках) или хи-квадрат тест (любая статистическая проверка гипотезы, в которой выборочное распределение критерия имеет распределение хи-квадрат при условии верности нулевой гипотезы) для анализа данных и оценки значимости изменения

Интерпретация результатов

Создайте визуализации, чтобы заинтересованные стороны могли понять результаты. Используйте инструменты такие, как Tableau или Google Data Studio. Подготовьте визуальные отчёты, показывающие влияние изменения на конверсионные показатели.

Tableau — программное обеспечение для интерактивной бизнес-аналитики и визуализации данных. Оно помогает провести глубокий анализ большого количества информации и представить результаты в удобной и интуитивно понятной форме. Tableau может взаимодействовать с облачными решениями (Dropbox, Google Таблицы, AWS Redshift и пр.), а также современными инструментами анализа данных, например Python и R.

Looker Studio, ранее известная как Google Data Studio, представляет собой онлайн-инструмент для преобразования данных в настраиваемые информационные отчеты и информационные панели, представленный Google 15 марта 2016 года как часть корпоративного пакета Google Analytics 360.

Принятие решений

Используйте фреймворки принятия решений, чтобы определить, стоит ли внедрять изменение постоянно. Примените фреймворк, такой как оценка ICE (Воздействие, Уверенность, Простота), чтобы решить, стоит ли оставить зеленую кнопку на основе результатов А/Б-теста. Рассчитайте оценку для каждой фичи или идеи, согласно формуле: Impact*Confidence*Ease=Ice Score

Уверенность показывает, насколько вы уверены в оценках влияния и легкости реализации. Влияние показывает, насколько ваша идея положительно повлияет на ключевой показатель, который вы пытаетесь улучшить. Лёгкость реализации — это о простоте реализации. Это оценка того, сколько усилий и ресурсов требуется для реализации этой идеи.

В ICE используется шкала от 1 до 10 чтобы все факторы сбалансировано повлияли на итоговый балл. Вы можете подразумевать под 1-10 то, что вам нужно, лишь бы значения были согласованы между собой.

Внедрение и мониторинг

Скоординируйтесь с вашей командой для внедрения изменений и продолжайте мониторить производительность. Создайте задачи и графики для внедрения выбранного дизайна на постоянной основе. Используйте Asana или Trello для планирования, отслеживания и контроля результатов. 

А/B тестирование — это лишь эксперимент, а не доказательство ваших гипотез. Тесты не всегда успешны, поэтому относитесь к ним как к полезному опыту, который поможет лучше понимать клиентов и сконцентрироваться на пробелах. Но не забывайте, что никакие тесты и оптимизации не помогут, если на сайте постоянно возникают технические проблемы. Поэтому выбирайте надёжный хостинг и экспериментируйте без проблем.