Подготовка к тестированию гипотез: от инсайта и идеи к созданию, сортировке и приоритизации гипотез

Многие отождествляют такие понятия как инсайт, идея и гипотеза, хотя это абсолютно разные вещи. Важно, чтобы команда говорила на одном языке, поэтому сначала разберемся, что такое инсайт, идея и гипотеза. А потом — как создавать, сортировать, приоритизировать идеи и гипотезы перед тестированием.

При изучении данных аналитики в рамках работ по CRO вы можете получить инсайт — озарение, открытие или новый взгляд на ситуацию, проблему и возможность ее решения.

Например, вы видите, что пользователи, которые применяли функционал онлайн-примерки мебели в интерьере, покупают на порядок чаще, чем те, кто с ним не взаимодействовал. При этом на кнопку онлайн-примерки в карточке товара кликает небольшой процент от общего количества всех посетителей, просмотревших карточку товара. Логично, что в наших интересах увеличить количество взаимодействий с этим функционалом.

Затем у вас запускается процесс формирования идей. Вы предполагаете, что проблема в СТА и тексте в целом — пользователям с первого взгляда не очевидно, зачем кликать на кнопку. Возможно, сама кнопка размещена в неудачном месте — переместив её в более логичное место, можно увеличить конверсию в клик.

На основании идеи нужно сформулировать гипотезу, которая в дальнейшем будет тестироваться. В отличие от идеи, гипотеза конкретна в своём определении. Если при тестировании основные показатели KPI растут, то считается, что гипотеза подтвердилась. Помните, что проверка гипотезы не должна быть слишком трудоемкой — большую идею лучше раздробить на небольшие. Старайтесь декомпозировать идеи так, чтобы разработка вариаций для проверки гипотез занимала минимальное количество времени.

Мы разработали единый шаблон, по которому формулируем все гипотезы:

«Согласно данным из [Источника 1] (Скриншот подтверждения) и [Источника 2] (Скриншот подтверждения), если [Идея] для [Группы пользователей], то это приведет к росту следующих показателей: [KPI 1], [KPI 2], ...».

В нашем примере гипотеза будет звучать так: «Согласно данным из отчетов Google Analytics, больше транзакций совершают те, кто пользуется онлайн-примеркой мебели. Необходимость этого функционала в онлайне-опросе отметили 74% покупателей. Если мы добавим в СТА выгоду и переместим кнопку ближе к слайдеру, это приведет к росту конверсии в клик (с функционалом будет взаимодействовать больше пользователей) и ARPU».

При изучении данных аналитики, технического аудита, тестирования юзабилити, CustDev, анализа обратной связи и конкурентного анализ а вы можете получать инсайт за инсайтом. Из каждого формируется идея. Чтобы не забыть ни одну, мы составляем бэклог — заносим все идеи в одну таблицу.

В таблице есть параметры, по которым мы проводим сортировку идей — ведь не все заслуживают того, чтобы превратиться в гипотезы.

Один из таких параметров — достаточность источников. Должно быть как минимум два источника данных, подтверждающих работоспособность идеи. Такими источниками могут быть системы веб-аналитики, карта кликов, немодерируемое и модерируемое тестирование, юзабилити-тестирование, опрос, глубинное интервью и так далее.

Дополнительно проверить ценность идеи можно с помощью техники «Пять почему». Обдумывая проблему, спросите себя, почему так получилось. Повторяйте вопрос до тех пор, пока не доберетесь до сути. Ответы могут лечь в основу гипотез для тестирования.

Еще один момент, который обязательно вносим в таблицу — категория Just Do It (просто сделай это). Иногда в процессе работы выявляются настолько очевидные вещи, что их нет смысла тестировать. Например, какие-то проблемы с версткой или функционалом. В этом случае фиксируем проблему в таблице, чтобы не забыть ее исправить и ставим задачу разработчикам.

После того как идеи отсортированы, можно перейти к скорингу, чтобы понять, какими именно заниматься в первую очередь. Логично сперва взяться за идеи, которые должны принести максимальный доход при минимальных усилиях. Но, к сожалению, предсказать потенциал идей невозможно. Но можно постараться понять, какие идеи имеют больше шансов на успех.

Существуют разные фреймворки (системы) для расстановки приоритетов, например Additive. Система предполагает составление таблицы с важными для проекта условиями — возможность отследить основной показатель, масштаб охвата, доля отказов, ценность страницы, частота возникновения, серьезность проблемы, влияние трафика, размер выборки, легкость, «линия сгиба» и так далее.

Затем для каждой идеи нужно проставить 1 балл за соответствие условиям каждого параметра и 0 баллов за несоответствие. В итоге идеи наберут определенное количество баллов. С той, у которой баллов больше, нужно работать в первую очередь.

Изучая разные фреймворки, мы столкнулись с тем, что часть параметров носит субъективный характер или дублируют друг друга по смыслу и типам данных.

Мы решили отказаться от таких параметров и опираться только на те, которые основаны на данных или опираются на более важный показатель для скоринга идей. Поэтому разработали фреймворк, в котором заимствованы параметры из разных систем.

По итогам приоритизации мы определяем топ идей. Если у идеи достаточно параметров для формирования гипотезы, формулируем гипотезу и переносим ее в отдельную таблицу, к которой есть доступ у всех членов команды. Кстати, из одной идеи может получиться несколько гипотез.

Чтобы гипотеза была оформлена правильно и толковалась всеми одинаково, нужно учесть несколько важных моментов:

В нашем бэклоге все гипотезы упорядочены, указано к какому этапу воронки относится гипотеза. Чтобы понять, какие гипотезы нужно тестировать в первую очередь, организуют прозрачный процесс приоритизации гипотез. Для этого есть разные инструменты, например, фреймворк ICE Score.

ICE расшифровывается как Impact, Confidence и Ease. То есть Влияние, Уверенность и Легкость. Показатель влияния демонстрирует, насколько реализация гипотезы улучшит ключевую метрику. Показатель уверенности отображает вашу убежденность в том, что идея значимая и ее будет легко реализовать. Показатель легкости говорит о необходимом количестве ресурсов для внедрения гипотезы.

Формула расчета приоритета: ICE Score = Impact х Confidence х Ease.

Каждый участник команды оценивает все показатели от 1 до 10. Потом оценки участника перемножаются и суммируются с итоговым баллом других участников. В итоге получается ICE Score по гипотезе.

Как и в случае с приоритезацией идей, мы обнаружили в готовых фреймворках субъективизм, опору на ничем не подтвержденные прогнозы, и решили разработать свой.

Фактически мы переносим все значения скоринга идеи, из которой была сформирована гипотеза, и дополнительно указываем ещё ряд важных для нас параметров:

Есть разные способы работы с идеями и гипотезами — можно выбрать готовый фреймворк или разработать свой, который будет учитывать особенности проекта или процесса. Главное, чтобы он добавлял процессу системности и позволял объективно приоритизировать как идеи, так и гипотезы.