Varioqub — это инструмент от Яндекса, который предназначен для управления цифровыми продуктами и обеспечения проведения A/B тестов. Он позволяет разработчикам и маркетологам легко тестировать различные варианты продуктов или изменений в интерфейсе для определения, какие из них приносят наилучшие результаты.
С помощью Varioqub компании могут улучшать свои продукты, опираясь на данные и поведение пользователей, что в конечном счете способствует увеличению конверсии и улучшению пользовательского опыта.
Платформы для A/B тестирования
Varioqub позволяет проводить эксперименты на разнообразных платформах. Вариативность методов и возможность интеграции с различными системами делают Varioqub идеальным выбором для стартапов и крупных компаний, стремящихся к постоянному улучшению своих продуктов и юзабилити интернет-магазина.
Varioqub для веб-сайтов и интернет-магазинов
С помощью Varioqub вы можете экспериментировать с сайтами различных конфигураций — от простых одностраничных визиток и лендингов до многоуровневых сайтов. Этот инструмент позволяет создавать эксперименты со множеством вариантов, меняя не только тексты, названия и цвета элементов, но также настраивая CSS-стили и произвольную HTML-разметку. По завершении эксперимента вы получите статистику, которая поможет определить, какой вариант сайта более привлекателен для посетителей. Для распределения трафика по выборкам в рамках эксперимента Varioqub использует данные из Яндекс Метрики.
Varioqub APP для приложений
Varioqub App представляет собой гибкое решение для мобильных приложений. Включает Varioqub SDK для iOS/Android, который может функционировать как самостоятельно, так и совместно с AppMetrica SDK, предлагая понятный интерфейс с разделами для конфигурирования флагов и A/B экспериментов, а также быстрый сервис UserSplit, обеспечивающий доступ к конфигурации клиента всего за миллисекунды, при этом поддерживая гибкие тарифы.
Подключение Яндекс Вариокуб к сайту
Чтобы провести эксперимент на сайте, необходимо установить скрипт на сайт одним из трех способов, согласно инструкции:
JavaScript
Google Tag Manager
API usersplit
Формирование гипотезы
Прежде чем начать эксперимент, вам необходимо сформулировать гипотезу, которую вы хотите проверить. Чтобы ваша гипотеза была оформлена верно и воспринималась всеми одинаково, следует обратить внимание на несколько ключевых аспектов:
Сформулируйте гипотезу по шаблону.
Указывайте дополнительные метрики, которые будете отслеживать в динамике, чтобы избежать улучшения одних метрик за счет других.
Определите необходимое время теста, используя калькулятор выборок.
Расставьте приоритеты, указав дополнительные параметры для скоринга гипотез.
Чтобы создать эксперимент, в Метрике перейдите на страницу Вариокуб → Эксперименты. Нажмите кнопку Создать эксперимент. Откроется страница с настройками нового эксперимента.
На странице необходимо задать все настройки эксперимента:
1. Условия
По умолчанию эксперимент имеет временные ограничения. Вы можете установить дополнительные правила для уточнения условий:
Продолжительность
Доля аудитории
Страницы применения
GET-параметры
Регион
Платформа
Пользовательские параметры
Исключить поисковых роботов
2. Пересечения с экспериментами
Пересечение означает, что два или более эксперимента проводятся одновременно и могут влиять друг на друга. Настройка позволяет выбрать эксперимент, с которым необходимо исключить пересечение. В результате новый и исключенные эксперименты не будут пересекаться. Новый эксперимент также не будет влиять на результаты исключенных.
3. Метрики
Определите ключевую метрику, на основе которой будете оценивать успешность эксперимента. Также вы можете выбрать до 10 дополнительных метрик для более глубокого анализа (в расширенной версии Вариокуб).
4. Тип эксперимента
В Varioqub вам доступна возможность создавать эксперименты различных типов.
Визуальный редактор
Укажите URL страницы, на которой нужно изменить элементы для эксперимента.
Редирект
Используйте ссылки для редиректа в эксперименте, если вы уже подготовили страницу или версию сайта с изменениями.
Флаги
Добавьте в код вашего сайта специальные флаги, которые определяют экспериментальные изменения. Их можно использовать для любых элементов сайта. Флаг представляет пару «ключ-значение».
Рекламные блоки
На вкладке можно создать эксперимент с расположением и форматом рекламных блоков на сайте.
Калькулятор выборок в Яндекс Метрике
Калькулятор выборок – это инструмент, который помогает оценить, сколько участников нужно для проведения A/B тестирования с заданной степенью статистической значимости и мощностью. Использование калькулятора выборок поможет избежать недооценки или переоценки размера выборки, что может привести к недостоверным результатам тестирования.
Калькулятор рассчитывает MDE (Minimum Detectable Effect — минимальный обнаруживаемый эффект.), который показывает наименьшее изменение метрики. По нему можно определить, насколько маленькие изменения удастся зафиксировать в эксперименте при текущих данных с заданными уровнями ошибок. Если показатель низкий, то можно увидеть изменения метрик даже на незначительный процент. Чтобы уменьшить MDE, увеличьте выборку или время проведения эксперимента. Если показатель высокий, то будут заметны только значительные изменения. Такой эксперимент можно провести на небольшой аудитории.
Проверка эксперимента в реальном времени
Чтобы убедиться, что изменения применились, в блоке Проверка эксперимента у каждого из вариантов нажмите кнопку Проверить. Откроется версия сайта для выбранного варианта по сгенерированной Varioqub ссылке.
Отчет о результатах эксперимента
Чтобы посмотреть отчет, в Метрике перейдите на страницу Вариокуб → Эксперименты. Под названием эксперимента нажмите Посмотреть результат.
Отчёт показывает, есть ли статистически значимое улучшение целевой метрики в экспериментальной версии по сравнению с контрольной. Данные в отчете сгруппированы по вариантам, которые участвуют в эксперименте. Контрольный вариант находится в первой строке.
Основные показатели таблицы:
Конверсия в цель – доля визитов с достижением выбранной цели от общего количества визитов в варианте.
Доходы по целям за визит.
Конверсия по пользователям в цель (Байес) — отношение количества уникальных посетителей, которые достигли цели, к общему количеству уникальных посетителей
Количество уникальных посетителей.
Глубина просмотра — количество просмотров страниц сайта в одном визите.
Доля визитов с покупкой.
Средний GMV на визит с покупкой.
Средний GMV на визит.
Дельта – разница между значениями метрики в экспериментальном и контрольном варианте.
Дельта (%) – дельта, выраженная как процент от значения метрики в контрольном варианте.
Доверительный интервал (±2σ) – изображение с доверительными интервалами для экспериментального и контрольного варианта на числовой оси.
P-value – основная численная характеристика результата работы статистического критерия. Означает вероятность получить такие же или более экстремальные результаты в предположении, что на самом деле значение метрики не поменялось (гипотеза H_0 в примере).
MDE (%) – Minimum detectable effect. Минимальное изменение метрики, которое можно разглядеть при таком количестве данных и с вероятностью ошибок первого рода alpha = 0.05 и ошибок второго рода beta = 0.2. Выражено в процентах от значения метрики в контрольном варианте. Уменьшать MDE можно увеличением процента и длительности эксперимента.
Кейсы
Технологии Yandex Varioqub активно используются нами в клиентских интернет-магазинах для проведения A/B-тестов. Этот инструмент применяется при внедрении новых функций в рамках технической поддержки и CRO (повышения конверсии).
Кейс #1: интернет-магазин косметики
Провели А/В тестирование, чтобы проверить, какое размещение ссылки на Desktop (в шапке сайта или в главном меню) на раздел «Акции» будет лучше по значениям микроконверсий.
Результаты A/B теста:
Анализ результатов показал, что показатель кликабельности (CTR) у пользователей, увидевших ссылку на «Акции» в меню, оказался выше — 1,7% (+77%), чем у тех, кто заметил ее в шапке сайта — 0,96%.
Таким образом, размещение ссылки на «Акции» в меню сайта является более эффективным вариантом. Значительное увеличение кликабельности (+77%) в группе В свидетельствует о том, что пользователи легче находят эту ссылку в меню.
Кейс #2: интернет-магазин рыболовных товаров
На 60% увеличили вовлеченность к поиску по сайту.
В рамках данного A/B тестирования была проведена проверка вовлеченности пользователей к поиску по сайту. Мы сравнили результативность двух вариантов: старая и новая, со следующими улучшениями:
закрепили поле поиска в шапке;
в поле ввода добавили подсказку;
для улучшения восприятия добавили фон к полю поиска.
Результаты A/B теста:
Результат теста показал, что с новым полем поиска на 60% чаще взаимодействуют. 1,57% против 0,97%.
Стоимость Яндекс Вариокуб
Яндекс Вариокуб предлагает пользователям два основных типа версии: базовую и платные. Базовая версия является бесплатной и подходит для большинства проектов.
Платные версии, в свою очередь, представлены в двух вариантах: Стандартная и Расширенная. Они имеют более расширенные функции, такие как большее число: одновременно запущенных экспериментов, метрик для отслеживания целевых действия и т.д.
Для крупных интернет-магазинов, где активно проводятся A/B тестирование, мы рекомендуем платную версию. Пример стоимости тарифного плана Стандартной версии (цена инструмента варьируется от длительности):
Заказать проведение A/B теста через Яндекс Вариокуб
Мы понимаем, насколько важно принимать обоснованные решения на основе фактических данных. Наши эксперты помогут вам разработать и реализовать эффективные A/B тесты, которые позволят выявить, какие подходы работают лучше всего для вашей аудитории. Мы обеспечим тщательный анализ результатов, что даст вам возможность максимально повысить конверсию и достичь своих бизнес-целей.
Свяжитесь с командой KISLOROD и начните тестирование, которое приведет к росту конверсии! 💪📈
Получайте полезный контент от KISLOROD в любой из мессенджеров
При переходе в одну из указанных социальных сетей, вы автоматически соглашаетесь с политикой конфиденциальности
Спасибо, что дочитали до конца.
Если информация была полезна, поделитесь статьёй. Вам не сложно, нам приятно ;)
Скачайте 17 точек роста и 100 + чекеров для роста конверсии и прибыли интернет-магазина
При переходе в одну из указанных социальных сетей, вы автоматически соглашаетесь с политикой конфиденциальности
Мы проанализировали ведущие интернет-магазины, результаты исследований, свой опыт и собрали важные моменты в одно руководство. Делаем e-commerce лучше, поэтому не только пользуемся сами, но и делимся с вами.
Выберите удобный мессенджер и получите чек-лист прямо сейчас: