или заполните форму
АНАЛИТИКА
Сплит-тестирование (А/В-тестирование): об инструменте от А до Я в разрезе задач e-commerce
Максим Жуков
Сооснователь ecommerce-агентства KISLOROD
Любой e-commerce проект должен постоянно развиваться, а значит внедрять изменения. Но как заранее понять, каким образом эти изменения скажутся на конверсии и других важных показателях? Один из инструментов, без которого не обойтись в электронной коммерции — сплит-тестирование, в частности А/В-тестирование. Расскажем, что такое сплит-тест, зачем и как проводить сплит-тестирование сайта, развеем популярные мифы.
Содержание
- Что такое split testing (сплит-тестирование)
- Зачем проводить сплит-тесты
- 7 мифов о сплит-тестировании
- Виды сплит-тестов: A/B и A/A-тестирование, многовариантный тест и тест с исключением
- Что проверять в рамках сплит-тестирования
- Алгоритм проведения A/B тестирования
- Как избежать распространенных проблем при А/Б-тестировании
- Сплит-тестирование в интернет-магазинах с низкой посещаемостью
- Что делать после сплит-тестирования
- Пример A/B-тестирования
- Резюме
Что такое сплит-тестирование (split test)
Сплит-тестирование — маркетинговый инструмент для прогноза результативности изменений на сайте с целью улучшения показателей эффективности его работы. Пользователям демонстрируют разные варианты страницы и оценивают, какой обеспечивает лучший результат. Например, показывая половине пользователей карточку товара с одним заголовком, а второй половине с другим, вы выявите более удачный заголовок. Затем можно протестировать прочие элементы страницы — призывы, кнопки, цены — и постепенно создать идеальную карточку товара.
Зачем проводить сплит-тесты
Сплит-тестирование — это надежный способ принятия важных решений в бизнесе, так как он базируется на реальных данных. Нельзя спрашивать пользователей как бы они себя вели — нужно ориентироваться на реальное поведение. Так вы будете принимать решения рационально, с уверенностью в результате.
Проведение UX исследований, в частности split testing, поможет:
- проверять предположения и гипотезы перед внедрением изменений, тем самым снизив риски нововведений, которые негативно скажутся на конверсии;
- понять пользователей и их потребности, улучшить юзабилити и дизайн сайта, поведенческие факторы;
- извлекать из трафика максимум пользы, уменьшив показатель отказов и количество брошенных корзин и увеличив продажи.
7 мифов о сплит-тестировании
Несмотря на очевидные преимущества сплит-тестирования, некоторые противятся их проведению. Развеем популярные мифы о сплит-тестах.
Миф № 1: «Большинство сплит-тестов показывает негативный результат, а значит мы только потеряем деньги»
Действительно, многие тестируемые версии оказываются менее эффективными, чем исходная. Но неверно говорить, что вы будете постоянно терять деньги из-за отрицательных тестов. Тест ограничен во времени, поэтому снижение продаж будет коротким. Зато положительный тест обеспечит увеличение дохода на долгий период — месяцы или годы, что многократно перекроет потери. Кроме того, даже во время негативного теста вы узнаете что-то такое, что позволит впоследствии вырасти в доходах.
Миф № 2: «Сплит-тестирование — это не срочный вопрос»
Иногда проведение сплит-тестов откладывают, даже понимая все преимущества — кажется, что есть более приоритетные вопросы и проблемы. Но откладывая сплит-тестирование, вы потеряете время и отстанете от конкурентов. А еще тесты могут дать инсайты, которые необходимы вам для решения тех самых приоритетных проблем.
Миф № 3: «Split testing — это слишком дорого»
Сплит-тестирование поможет получить больше прибыли при тех же расходах. Поэтому не заниматься им — то же самое, что не заниматься маркетингом. Отсутствие split testing обойдется дороже.
Миф № 4: «Сплит-тестирование отнимает много времени»
Да, сплит-тесты требуют времени, но они не тормозят развитие бизнеса. Напротив, вы будете внедрять только целесообразные изменения, а значит проект будет расти быстрее.
Миф № 5: «Мы хотим инвестировать в трафик»
Если у вас есть хотя бы небольшой трафик, разумнее работать над увеличением конверсии посредством split testing, чем привлекать посетителей, которые не будут покупать.
Миф № 6: «У нас низкая посещаемость»
Если посетителей мало, то проводить статистически значимые сплит-тесты действительно непросто, но возможно. Для небольшого сайта сплит-тестирование не менее важно, потому что нужно получить максимум из немногочисленных посещений. Как проводить тест при низкой посещаемости, вы узнаете из статьи.
Миф № 7: «Результатам сплит-теста нельзя доверять»
Если соблюдать правила, о которых мы расскажем ниже, то вы точно получите надежные результаты.
Виды сплит-тестов: A/B и A/A-тестирование, многовариантный тест и тест с исключением
Сплит-тестирование — общее название для разных вариантов тестов. Какой тест использовать зависит от того, что вы хотите выяснить и на каком этапе оптимизации интернет-магазина находитесь.
A/B-тестирование
A/B-test — самый популярный вид тестирования, при котором контрольная страница сравнивается со своей новой версией. Если изучается несколько версий страницы, то тест называется A/B/n-тестом.
Многовариантный тест (MVT)
Во время MVT сравнивается контрольная страница со страницами, в которых меняются несколько элементов, размещаемые в разных комбинациях. Например, можно проверить несколько заголовков и изображений в карточке товара, и определить лучшую комбинацию. MVT-тестирование позволяет быстро получать результаты, но требует существенно большего трафика, чем обычное A/B-тестирование, в связи с чем неприменимо для многих сайтов.
Многовариантный тест (MVT)
Тест с исключением
Тест с исключением позволяет прятать элементы страницы и смотреть, как это сказалось на конверсии. Если конверсия увеличилась, значит элемент мешает продажам. Иногда результат такого тестирования может удивлять. Например, наличие гарантии возврата денег обычно повышает конверсию. Но тест с исключением для сайта, продающего игрушки, показал, что без отображения блока с гарантией конверсия выше. Покупателями часто выступали бабушки и дедушки, и наличие гарантии заставляло их сомневаться в качестве игрушки и отказываться от покупки. В тестах с исключением элементы тестируют по очереди.
А/А тестирование
A/A-тест — сравнение двух одинаковых страниц с целью убедиться, что инструмент работает правильно. Иначе можно получить неверные показатели при A/B-тестировании, неадекватное отображение страницы или преждевременное завершение теста. Для запуска А/А-теста не нужно менять элементы, главное выбрать страницу с высоким трафиком, на которой посетители смогут совершать покупки.
Недостаток A/A-тестирования состоит в том, что оно занимает много времени, которое можно было бы потратить на реальный A/B-тест. У экспертов нет однозначного мнения на этот счет — одни рекомендуют проводить А/А-тестирование, другие — не рекомендуют. Компромиссный вариант — проводить A/A/B-тест или А/А тест, но только при использовании нового сервиса для тестирования.
Что проверять в рамках сплит-тестирования
Маркетологи спорят и том, какие изменения тестировать — небольшие или радикальные. Рассмотрим особенности обоих подходов.
Небольшие изменения при А/Б-тестировании
Методика предполагает, что изменения проводятся последовательно, постепенно обеспечивая рост показателя KPI магазина. Недостаток методики в том, что при небольших изменениях эффект не слишком заметен — иногда кажется, что результаты неопределенные, сложно получить однозначные инсайты.
Изменять можно любые элементы сайта интернет-магазина:
- заголовки;
- подзаголовки;
- описание товаров и инфографику;
- содержание и объем текста;
- вид и расположение кнопок, форм, СТА;
- фото и видео;
- наличие отзывов и их представление (текст или видео);
- отображение цен;
- условия доставки;
- наличие гарантии;
- скидки;
- возможность попробовать продукт.
Что бы вы ни тестировали, сравнивать результаты стоит по трем показателям:
- конверсия;
- экономика — средний чек, объем выручки или число продаж, cредний доход на пользователя (ARPU);
- поведенческие факторы — глубина просмотра страницы, средняя продолжительность нахождения на сайте, показатели отказов, коэффициент удержания.
Радикальные изменения при А/Б-тестировании
При радикальных изменениях, например, полном редизайне страницы, наблюдается более заметная разница в результатах. Но методика не дает понимания, что именно способствовало или препятствовало их достижению. Радикальные изменения требуют больше времени для формулирования гипотез, создания прототипа и разработки. Если изменения дают позитивный результат, то это окупается. В ином случае — нет.
Какой подход выбрать? Постарайтесь найти баланс. Сначала проводите постепенные изменения и их тестирование, а если это не приводит к выраженным результатам, пробуйте внедрять радикальные. Также радикальный подход стоит использовать, если дизайн или структура исходной страницы ограничены для изменений или если прекращается прирост KPI по первому методу. Можно попробовать найти новый эффективный шаблон и снова постепенно его улучшать.
Алгоритм проведения A/B тестирования
A/B-тестирование можно провести по следующему алгоритму:
1. Оценка ресурсов
Оцените, насколько вы готовы проводить А/Б-тестирование. Это хороший инструмент, но он требует стабильного и высокого трафика, конверсий, налаженной системы аналитики и навыка формулирования гипотез. Без осознанного и системного подхода нет смысла тратить ресурсы.
2. Выбор страницы и элемента для А/Б-тестирования
Выберите наиболее важную страницу для показателя, который хотите улучшить. Найдите слабые места — элементы, изменение которых потенциально принесет больше конверсий. Для этого воспользуйтесь:
- инструментами веб-аналитики;
- тепловой картой кликов в Яндекс Метрике;
- данными, полученными из анализа обратной связи;
- данными из опросов и глубинных интервью.
Затем определитесь, в каком порядке будете тестировать элементы — начать нужно с тех, которые с большей вероятностью могут положительно повлиять на метрику.
3. Определение метрик и постановка цели для A/B testing
Для интернет-магазинов лучшей метрикой является средний доход на посетителя за период (ARPU), а не конверсия, так как в случае покупки дешевых товаров даже при высоком коэффициенте конверсии доход может быть ниже, чем при покупке дорогих товаров и низком коэффициенте конверсии. Важно изучать доход от всего сайта, а не только процент его прироста, который считает платформа для сплит-тестирования.
Если трафик низкий, вместо ARPU можно опираться на коэффициент конверсии, число добавленных в корзину позиций, количество посещений карточки товаров и другие. Выбрав основную метрику, вы можете поставить четкую цель тестирования — например, «Увеличить доход на 10%» или «Поднять конверсию до 3%».
Чтобы получить максимум инсайтов, отслеживайте и второстепенные показатели — средний чек, показатель отказов, время на сайте и другие. Но не используйте их для оценки результатов теста, если его нельзя оценить по основному показателю. Используйте их только для объяснения результатов основного показателя.
4. Формулирование гипотезы
Гипотеза — прогноз роста продаж после определенных изменений, который основывается на изучении поведения клиентов и обратной связи. Если после проверки гипотезы растет выбранная метрика, гипотеза считается подтвержденной.
Формулирование «правильных» гипотез отличает систематическую оптимизацию с помощью А/Б-тестирования от простого проведения набора тестов. Хорошо сформулированная гипотеза помогает лучше узнавать клиентов, даже если она не подтвердилась. Отрицательный результат побуждает к размышлениям и новым гипотезам.
Пример гипотезы: «Добавление функции бесплатной доставки в карточку товара увеличит конверсию». Важно понимать, какое положение дел сейчас, и какого результата вы хотите достичь.
5. Создание варианта В для сплит-тестирования
Определившись с тестируемым элементом, целями и метриками, можно перейти к созданию варианта В. Важно внести только одно изменение в выбранный элемент. Например, если вы решили протестировать кнопку «Добавить в корзину», меняйте только одну характеристику — цвет, расположение, размер или текст на кнопке. Остальные характеристики должны остаться неизменными.
Если вы запланировали радикальные изменения, например, полный редизайн, перед сплит-тестом нужно сделать несколько шагов:
- Создать прототип и тексты.
- Разработать дизайн.
- Передать результаты работы и ТЗ на создание варианта В разработчикам.
6. Определение продолжительности А/Б-теста и размера выборки
Для каждого А/В-теста нужно определить размер выборки — минимальное количество пользователей, которое должно принять участие в эксперименте. На сайтах сервисов для тестирования, которые мы рассмотрим ниже, есть калькуляторы для расчета размера выборки и продолжительности тестирования.
Калькулятор достоверности А/В-тестирования
Тестирование лучше проводить не менее 14 дней, так как поведение покупателей может меняться в зависимости от дня недели. Чем длиннее цикл покупки, тем более длительным должен быть тест.
7. Запуск A/B теста
Тестирование проводится с помощью специальных сервисов. Вам потребуется только указать страницы, выбрать элемент и запустить проверку — сервис сам поделит трафик и соберет данные.
Запуск A/B эксперимента
Какие инструменты для A/Б-тестирования можно использовать:
- Яндекс Эксперименты — бесплатный и достаточно функциональный сервис, поэтому очень востребованный. Позволяет тестировать различные элементы страниц, проверять сразу несколько гипотез.
- Optimizely.com — платный сервис для сплит-тестирования, очень популярный на Западе. Позволяет проводить тестирование с использованием визуального интерфейса — маркетологу не нужно работать с HTML-кодом страниц.
- Visual Website Optimizer — платный сервис, требующий знаний HTML-разметки.
- Changeagain.me — сервис со встроенной интеграцией с Google Analytics. Отличается тем, что цели автоматически загружаются в систему. Есть визуальный редактор, возможность таргетинга по геолокации пользователей и устройствам.
- ABtasty.com — также имеет интеграцию с Google Analytics.
- Realroi.ru — простой русскоязычный сервис для сплит-тестирования.
- Vwo.com — функциональный сервис, требующий навыков работы с версткой.
8. Контроль над сплит-тестированием
После запуска теста нужно убедиться, что все работает правильно. Если страницы показывают очень сильные отличия, возможно на одной не работает какой-то элемент. Но не нужно менять что-то на ходу, дождитесь окончания тестирования.
Показатели A/B тестирования в Google Analytics
После завершения теста проверьте статистическую значимость с помощью калькулятора достоверности А/В-тестирования или прямо в сервисе. Результаты А/Б-теста должны достигнуть высоких показателей (не менее 95%) — только тогда на них можно опираться в принятии решений.
9. Анализ результатов
После окончания А/Б-теста сравните величины ключевой метрики. Важно, чтобы различие было существенным, иначе не получится сделать однозначный вывод.
Отчет A/B-теста
Если вы нацеливали тест на всю аудиторию, нужно понимать, что для разных сегментов результаты могут отличаться. Сервисы для тестирования обычно предлагают провести сегментацию после теста, иногда платно. Также можно бесплатно интегрировать тест с Google Analytics и изучить сегменты по критериям:
- пользователи десктопных или мобильных устройств,
- новые или вернувшиеся посетители,
- источники трафика,
- браузер или операционная система.
Сравнивая результаты разных сегментов, постарайтесь найти объяснение различиям в поведении.
К сожалению, успех теста не гарантирует успех в реальных условиях. Прежде чем делать выводы, пройдитесь по этому чек-листу и убедитесь, что:
- в тесте участвовало не меньшее количество посетителей, чем рекомендовал калькулятор;
- тест проводился минимум 2 недели;
- статистическая значимость не менее 95%;
- значение основной метрики выросло хотя бы на 2%;
- если победа относится к сегменту, то его размер выборки достаточен.
Полученные результаты важно задокументировать и включить в план по оптимизации интернет-магазина. В идеале создать электронную таблицу в Google с результатами теста и полученными инсайтами. Рекомендуем делиться результатами тестирования с командой, чтобы они лучше поняли целевую аудиторию, использовали это в маркетинге и работе с клиентами.
Как избежать распространенных проблем при А/Б-тестировании
- Правильно пользуйтесь сервисами — точно следуйте инструкции и убедитесь, что сервис корректно запускается.
- Проведите оценку программного кода, чтобы исключить нетипичные страницы, способные повлиять на сплит-тестирование. Убедитесь, что на сайте установлены последние версии необходимых библиотек JavaScript.
- Контролируйте качество проведения теста: корректность работы во всех браузерах и на всех устройствах. Не ограничивайтесь только тестируемой страницей, пройдите по всей воронке продаж.
- Следите, чтобы вариант В появлялся сразу, а не через несколько секунд после отображения варианта А — это раздражает пользователей. При корректном использовании сервисов проблема не должна возникать. Но если вы с ней все-таки столкнетесь, попросите разработчиков добавить программу, которая не позволит исходной странице А загружаться, пока грузится вариант В.
- Ничего не меняйте во время эксперимента — ни в тесте, ни на сайте. Если нужно исправить тест, приостановите, а затем клонируйте его.
- Не проводите эксперименты параллельно, особенно в одной области сайта — они могут повлиять друг на друга и на результаты.
- Учитывайте сезонность — в периоды праздников и распродаж клиенты больше мотивированы покупать, чем в другое время. Не обязательно отказываться от А/Б-тестирования, особенно если значительная доля вашего трафика и дохода приходится на эти периоды. Но можно провести аналогичный тест в другой период и сравнить результаты.
Сплит-тестирование в интернет-магазинах с низкой посещаемостью
Мы писали о важности размера выборки, поэтому вам могло показаться, что А/Б-тестирование — неподходящий инструмент для небольших интернет-магазинов. Но даже если трафик небольшой, вы можете извлечь пользу из тестирования:
- если проблематично отслеживать доход на посетителя, отслеживайте конверсию или даже микроконверсии — например, переходы от страницы к странице или нажатия на кнопку «В корзину».
- постарайтесь делать тесты с большой степенью влияния — как упоминали выше, радикальное тестирование приносит более заметный эффект, чем тестирование небольших изменений.
- удаляйте из результатов резко отклоняющиеся от средних значения, чтобы корректно завершить тест за меньшее время.
- снизьте порог статистической значимости (в разумных пределах) — это лучше, чем не тестировать гипотезы вовсе.
- избегайте MVT-тестирования, отдайте предпочтение A/B-тестам и проверяйте вариации по очереди.
- исследуйте начальные этапы воронки, на которых посещаемость максимальна.
Что делать после сплит-тестирования
Ваши действия после теста будут зависеть от того, какие результаты вы получили.
Если результат положительный
У вас есть три варианта:
- Внедрить соответствующие изменения на сайте.
- Начать показывать выигрышный вариант всем посетителям.
- Продолжать эксперимент, показывая 5 % посетителей исходную страницу.
В первом случае передайте разработчикам бриф со снимками страниц А и В, описанием отличий, изменений в логике бизнес-процесса, результатами тестирования и так далее. Внимательно изучите итоги работы перед запуском новой версии сайта — вы должны получить точную копию выигрышной страницы.
Не стоит сразу ожидать впечатляющих результатов:
- вы изменили только небольшую область сайта, поэтому вклад в общий доход может быть не столь большим, как хотелось бы;
- невозможно учесть все внешние негативные аспекты, вроде появления багов или событий, влияющих на трафик.
Чтобы получить подтверждение результатов, интегрируйте тест с GA, как мы рекомендовали выше. Или продолжайте эксперимент, демонстрируя исходную страницу 5% посетителей. Главное, в конце концов внедрить выигрышные решения на сайте, а не забыть о них. А затем можно начинать процесс заново — искать другие точки роста, создавать и проверять гипотезы, ведь работа по оптимизации сайта не должна прекращаться никогда.
Если результат отрицательный
К сожалению, не все тесты показывают положительный результат — иногда исходная страница работает лучше, чем новая. Но не стоит считать A/B-тест неудачным — вы все равно узнаете что-то о предпочтениях или поведении клиентов, что даст вам выигрыш в долгосрочной перспективе. Часто после таких тестов появляются новые варианты В, которые создают значительный прирост, нивелирующий изначальные потери.
Оптимально подумать о том, что вы узнаете из отрицательного теста заранее. И при необходимости изменить условия так, чтобы тест в любом случае привел вас к выигрышу.
В случае негативного теста обращайте особое внимание на второстепенные показатели и сегментацию. Затем сделайте корректировки и проведите повторное тестирование.
Если результат неоднозначный
Если обе страницы показывают небольшое различие, значит результат неоднозначен. Возможно, стоит сделать более решительные изменения, чтобы сместить баланс. Также причиной неоднозначного результата могут быть недостаточно хорошо продуманные идеи и гипотезы. Подумайте, с чем связан такой итог и попробуйте скорректировать тест для той же гипотезы или скорректировать гипотезу.
Пример A/B-тестирования
Внедрение глобальных изменений без A/B-теста может негативно повлиять на конверсию и средний чек интернет-магазина, в чем мы убедились на собственном опыте.
В одном из проектов клиент поставил задачу настроить автоматический переход в оформление заказа после добавления товара в корзину. Ранее при клике на кнопку «В корзину» надпись менялась на «В корзине» и появлялось сообщение о добавлении товара в корзину. Решение о нововведении не было протестировано предварительно.
Через месяц после внедрения функционала заметно упала конверсия и средний чек интернет-магазина. Мы предположили, что причиной может быть нововведение.
Мы провели А/Б-тест — сравнили конверсию и средний чек нового и старого функционала. Для разделения пользователей 50 на 50 использовали внутренний модуль A/B-тестирования в 1С-Битрикс, который позволяет качественно проводить исследования на любой странице интернет-магазина. Для просмотра статистики использовали Яндекс Метрику. Настраивали только параметры визитов — остальные необходимые цели уже были настроены на сайте.
В отчете по параметрам визитов в Яндекс Метрике мы увидели количество визитов и посетителей в каждом из вариантов теста:
Отчет по параметрам визитов в Яндекс Метрике
Для проверки статистической значимости использовали калькулятор достоверности А/В-тестирования.
Пример использования калькулятор достоверности А/Б-тестирования
В итоге наша гипотеза подтвердилась. Старый функционал по ключевым показателям показывал лучшие результаты.
Резюме
- Сплит-тестирование — это не просто инструмент для тестирования гипотез. Это один из лучших методов принятия решений в e-commerce, основанный на данных.
- Есть разные типы тестов, но наиболее популярны A/B-тесты.
- В рамках сплит-тестирования можно проверять небольшие или радикальные изменения.
- Алгоритм проведения split testing состоит из 9 шагов: оценки ресурсов, выбора страницы и элемента для тестирования, определения метрик и постановки цели, формулирования гипотезы, создания варианта В, определения продолжительности теста и размера выборки, запуска A/B-теста, контроля над сплит-тестированием, анализа результатов.
- В качестве основной метрики лучше опираться на доход с пользователя. Если трафик небольшой, можно выбрать менее значимые метрики.
- Даже отрицательные тесты можно считать удачными, если вы узнаете что-то о поведении и потребностях пользователей.
- Обязательно внедряйте выигрышные решения, выдвигайте новые гипотезы и проводите сплит-тестирование снова и снова.
Получайте полезный контент от KISLOROD в любой из мессенджеров
При переходе в одну из указанных социальных сетей, вы автоматически соглашаетесь с политикой конфиденциальности
Спасибо, что дочитали до конца.
Если информация была полезна, поделитесь статьёй. Вам не сложно, нам приятно ;)
Рекомендованные статьи
Скачайте 17 точек роста и 100 + чекеров для роста конверсии и прибыли интернет-магазина
При переходе в одну из указанных социальных сетей, вы автоматически соглашаетесь с политикой конфиденциальности
Мы проанализировали ведущие интернет-магазины, результаты исследований, свой опыт и собрали важные моменты в одно руководство. Делаем e-commerce лучше, поэтому не только пользуемся сами, но и делимся с вами.
Выберите удобный мессенджер и получите чек-лист прямо сейчас:
