Оставьте заявку!
Заполните контактные данные, мы свяжемся с вами, обсудим ваш проект и задачи.
Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности
Маркетинг

Подготовка к тестированию гипотез: от инсайта и идеи к созданию, сортировке и приоритизации гипотез

Максим Жуков
Сооснователь ecommerce-агентства KISLOROD
Максим Жуков
Многие отождествляют такие понятия как инсайт, идея и гипотеза, хотя это абсолютно разные вещи. Важно, чтобы команда говорила на одном языке, поэтому сначала разберемся, что такое инсайт, идея и гипотеза. А потом — как создавать, сортировать, приоритизировать идеи и гипотезы перед тестированием.

Что такое инсайт, идея, гипотеза

При изучении данных аналитики в рамках работ по CRO вы можете получить инсайт — озарение, открытие или новый взгляд на ситуацию, проблему и возможность ее решения.
Например, вы видите, что пользователи, которые применяли функционал онлайн-примерки мебели в интерьере, покупают на порядок чаще, чем те, кто с ним не взаимодействовал. При этом на кнопку онлайн-примерки в карточке товара кликает небольшой процент от общего количества всех посетителей, просмотревших карточку товара. Логично, что в наших интересах увеличить количество взаимодействий с этим функционалом.
Средние показатели конверсии по отраслям
Затем у вас запускается процесс формирования идей. Вы предполагаете, что проблема в СТА и тексте в целом — пользователям с первого взгляда не очевидно, зачем кликать на кнопку. Возможно, сама кнопка размещена в неудачном месте — переместив её в более логичное место, можно увеличить конверсию в клик.
На основании идеи нужно сформулировать гипотезу, которая в дальнейшем будет тестироваться. В отличие от идеи, гипотеза конкретна в своём определении. Если при тестировании основные показатели KPI растут, то считается, что гипотеза подтвердилась. Помните, что проверка гипотезы не должна быть слишком трудоемкой — большую идею лучше раздробить на небольшие. Старайтесь декомпозировать идеи так, чтобы разработка вариаций для проверки гипотез занимала минимальное количество времени.

Шаблон формирования гипотезы

Мы разработали единый шаблон, по которому формулируем все гипотезы:
«Согласно данным из [Источника 1] (Скриншот подтверждения) и [Источника 2] (Скриншот подтверждения), если [Идея] для [Группы пользователей], то это приведет к росту следующих показателей: [KPI 1], [KPI 2], ...».
В нашем примере гипотеза будет звучать так: «Согласно данным из отчетов Google Analytics, больше транзакций совершают те, кто пользуется онлайн-примеркой мебели. Необходимость этого функционала в онлайне-опросе отметили 74% покупателей. Если мы добавим в СТА выгоду и переместим кнопку ближе к слайдеру, это приведет к росту конверсии в клик (с функционалом будет взаимодействовать больше пользователей) и ARPU».

Работа с идеями

При изучении данных аналитики, технического аудита, тестирования юзабилити, CustDev, анализа обратной связи и конкурентного анализ а вы можете получать инсайт за инсайтом. Из каждого формируется идея. Чтобы не забыть ни одну, мы составляем бэклог — заносим все идеи в одну таблицу.

Сортировка идей

В таблице есть параметры, по которым мы проводим сортировку идей — ведь не все заслуживают того, чтобы превратиться в гипотезы.
Один из таких параметров — достаточность источников. Должно быть как минимум два источника данных, подтверждающих работоспособность идеи. Такими источниками могут быть системы веб-аналитики, карта кликов, немодерируемое и модерируемое тестирование, юзабилити-тестирование, опрос, глубинное интервью и так далее.
Дополнительно проверить ценность идеи можно с помощью техники «Пять почему». Обдумывая проблему, спросите себя, почему так получилось. Повторяйте вопрос до тех пор, пока не доберетесь до сути. Ответы могут лечь в основу гипотез для тестирования.
Еще один момент, который обязательно вносим в таблицу — категория Just Do It (просто сделай это). Иногда в процессе работы выявляются настолько очевидные вещи, что их нет смысла тестировать. Например, какие-то проблемы с версткой или функционалом. В этом случае фиксируем проблему в таблице, чтобы не забыть ее исправить и ставим задачу разработчикам.

Приоритизация идей

После того как идеи отсортированы, можно перейти к скорингу, чтобы понять, какими именно заниматься в первую очередь. Логично сперва взяться за идеи, которые должны принести максимальный доход при минимальных усилиях. Но, к сожалению, предсказать потенциал идей невозможно. Но можно постараться понять, какие идеи имеют больше шансов на успех.
Существуют разные фреймворки (системы) для расстановки приоритетов, например Additive. Система предполагает составление таблицы с важными для проекта условиями — возможность отследить основной показатель, масштаб охвата, доля отказов, ценность страницы, частота возникновения, серьезность проблемы, влияние трафика, размер выборки, легкость, «линия сгиба» и так далее.
Затем для каждой идеи нужно проставить 1 балл за соответствие условиям каждого параметра и 0 баллов за несоответствие. В итоге идеи наберут определенное количество баллов. С той, у которой баллов больше, нужно работать в первую очередь.
Изучая разные фреймворки, мы столкнулись с тем, что часть параметров носит субъективный характер или дублируют друг друга по смыслу и типам данных.
Мы решили отказаться от таких параметров и опираться только на те, которые основаны на данных или опираются на более важный показатель для скоринга идей. Поэтому разработали фреймворк, в котором заимствованы параметры из разных систем.
По итогам приоритизации мы определяем топ идей. Если у идеи достаточно параметров для формирования гипотезы, формулируем гипотезу и переносим ее в отдельную таблицу, к которой есть доступ у всех членов команды. Кстати, из одной идеи может получиться несколько гипотез.

Чек-лист формирования гипотезы

Чтобы гипотеза была оформлена правильно и толковалась всеми одинаково, нужно учитывать 6 важных моментов:
  1. Формулируйте гипотезу по шаблону.
  2. Указывайте дополнительные метрики, за которыми будете следить, чтобы избежать улучшения одних метрик за счет других.
  3. Определите необходимое время теста, используя калькулятор размера аудитории.
  4. Расставьте приоритеты, указав дополнительные параметры для скоринга гипотез.

Приоритизация гипотез

В нашем бэклоге все гипотезы упорядочены, указано к какому этапу воронки относится гипотеза. Чтобы понять, какие гипотезы нужно тестировать в первую очередь, организуют прозрачный процесс приоритизации гипотез. Для этого есть разные инструменты, например, фреймворк ICE Score.
ICE расшифровывается как Impact, Confidence и Ease. То есть Влияние, Уверенность и Легкость. Показатель влияния демонстрирует, насколько реализация гипотезы улучшит ключевую метрику. Показатель уверенности отображает вашу убежденность в том, что идея значимая и ее будет легко реализовать. Показатель легкости говорит о необходимом количестве ресурсов для внедрения гипотезы.
Формула расчета приоритета: ICE Score = Impact х Confidence х Ease.
Каждый участник команды оценивает все показатели от 1 до 10. Потом оценки участника перемножаются и суммируются с итоговым баллом других участников. В итоге получается ICE Score по гипотезе.
Как и в случае с приоритезацией идей, мы обнаружили в готовых фреймворках субъективизм, опору на ничем не подтвержденные прогнозы, и решили разработать свой.
Фактически мы переносим все значения скоринга идеи, из которой была сформирована гипотеза, и дополнительно указываем ещё ряд важных для нас параметров:
  • длительность проведения теста,
  • трудозатраты (стоимость) разработки вариации и проведения теста,
  • и другие.

Вывод

Есть разные способы работы с идеями и гипотезами — можно выбрать готовый фреймворк или разработать свой, который будет учитывать особенности проекта или процесса. Главное, чтобы он добавлял процессу системности и позволял объективно приоритизировать как идеи, так и гипотезы.
Получайте полезный контент от KISLOROD в любой из мессенджеров
При переходе в одну из указанных социальных сетей, вы автоматически соглашаетесь с политикой конфиденциальности
Спасибо, что дочитали до конца.
Если информация была полезна, поделитесь статьёй. Вам не сложно, нам приятно ;)

Рекомендованные статьи

Скачайте 17 точек роста и 100 + чекеров для роста конверсии и прибыли интернет-магазина
При переходе в одну из указанных социальных сетей, вы автоматически соглашаетесь с политикой конфиденциальности
Мы проанализировали ведущие интернет-магазины, результаты исследований, свой опыт и собрали важные моменты в одно руководство. Делаем e-commerce лучше, поэтому не только пользуемся сами, но и делимся с вами.
Выберите удобный мессенджер и получите чек-лист прямо сейчас: