Как сформулировать data-driven гипотезу за 5 шагов: на примере RPG игры
Одна из ключевых задач продакт-менеджера — следить за продуктовыми метриками и улучшать их. Для этого нужно постоянно тестировать гипотезы, делать выводы и снова тестировать новые гипотезы. Весь процесс должен быть data-driven.
От корректности гипотезы зависит успех тестирования и качество выводов. Этот шаг определяет остальные, поэтому в этой статье мы подробно разберем именно работу с гипотезами.
За пять шагов мы пройдем от абстрактной проблемы до пяти data-driven гипотез для реального продукта. В конце статьи — бесплатный шаблон для систематизации гипотез.
Проблема продукта
Представьте, что вы продакт-менеджер мобильной игры AFK Arena.
Игра включает в себя классические элементы RPG. Игрокам нужно собрать команду героев и сражаться с врагами. Также они могут сражаться с другими игроками на арене и получать редкие призы за участие во временных событиях.
Особенность игры в том, что она создана для «ленивых» игроков. Основные награды пользователи получают во время своего отсутствия, а все бои можно проходить в автоматическом режиме. Главное — собрать команду из мощных героев и с сильным снаряжением.
Вот так выглядит игра:
Вам написала Эмма, продуктовый аналитик. Кажется, она чем-то взволнована.
1. Смотрим на факты и ищем глобальную проблему.
2. Задаем себе вопрос: почему эта проблема существует?
3. Определяем вектор.
4. Ищем локальную проблему.
5. Формулируем гипотезу для локальных проблем
6. Тестируем гипотезу, делаем вывод. Смотрим, решилась ли глобальная проблема.
7. Проводим итерацию: на основе полученных фактов формулируем новую гипотезу.
В этой статье мы рассмотрим только первые пять шагов, последние два шага — тема для отдельной большой статьи.
Как создавать data-driven гипотезы
Шаг 1. Смотрим на факты и ищем глобальную проблему
Перед формулировкой гипотезы необходимо правильно оценить ситуацию. Проблема должна быть подкреплена фактом, а не абстрактными оценками “все плохо” или “конверсия не очень”.
В нашем случае глобальная проблема — выручка снизилась на 20%.
Шаг 2. Задаем себе вопрос: почему эта проблема существует?
Выручка зависит от нескольких переменных. Мы отобразили их на этом дереве метрик:
В первую очередь надо понять, проблема с количеством пользователей (Users) или средней выручкой с одного пользователя (ARPU).
Уточним у Эммы, где с большей вероятностью могла возникнуть проблема.
Эмма, как думаешь, могло на выручку повлиять ухудшение метрики ARPU?
Нет. Средний чек не изменился по сравнению с прошлым месяцем, как и лайфтайм игроков. Даже конверсия в платеж повысилась. Однако я увидела сильную разницу в количестве пользователей на каждом этапе игры.
Эмма сообщила нам, что в части ARPU показатели не ухудшились. Значит, проблема с количеством пользователей. Осталось понять, что конкретно повлияло на эту метрику.
Шаг 3. Определяем вектор
На данном шаге важно понять, на какую метрику мы будем влиять, выдвигая наши гипотезы по улучшению. Эмма выслала нам данные по количеству пользователей на каждом этапе игры. Нужно посчитать конверсию, чтобы понять, где образовалось узкое место в нашей воронке.
Задание
Известно, что за последний месяц игру установило 725 000 человек. Онбординг начали проходить 623 500 игроков. Закончили онбординг и дошли до 1 уровня 611 030 пользователей. До 2 уровня доходит 152 757 игроков. До 25-ого уровня — 122 602. Посчитайте конверсии на каждом этапе и выберите этап, где появилось узкое место.
Дальше мы будем создавать гипотезы для метрики CR (Conversion Rate) во 2 уровень. Именно она повлияла на падение выручки нашего продукта.
Шаг 4. Ищем локальную проблему
Мы знаем, что проблема скрывается в первом уровне. Но где конкретно, мы еще должны разобраться.
Вы написали Эмме и попросили ее помочь.
Мы увидели, с какими сложностями сталкиваются игроки. Теперь пора сформулировать гипотезы о том, как решить эти проблемы и увеличить конверсию.
Шаг 5. Формулируем гипотезы для локальных проблем
Гипотеза — это наш вариант решения проблемы. В ней должна быть информация о том, на какую функциональность продукта мы хотим повлиять, как наше предположение повлияет на метрики. Также важно описать конкретные шаги по реализации гипотезы.
В итоге гипотеза должна принять следующий вид:
“Если мы сделаем [функциональность продукта], то это повлияет на [метрику Х]. Для этого в продукте сделаем [описание того, что нужно сделать]”.
Формирование гипотез может ошибочно показаться легкой задачей. Однако в этом процессе легко допустить глупые ошибки. Как их избежать, рассказано в статье от Product Talk.
Одной из ошибок является путаница в использовании количественных и качественных методов. Например, A/B тест может показать, какой вариант дизайна вашей веб-страницы увеличивает конверсию в покупку.
Однако этот количественный метод не ответит на вопрос, почему так происходит. Здесь нужно будет формулировать и проверять гипотезы, проводя интервью или юзабилити-тестирование.
Давайте попробуем выдвинуть предположения для улучшения метрик ивентов в игре:
Для решения проблемы #1 можно добавить пульсирующую надпись “Superpower” к аватарам героев. Так пользователи поймут, что при нажатии они активируют сверхспособность членов команды.
Чтобы проблема #2 исчезла, нужно улучшить механику автоматического режима битвы и уменьшить вероятность проигрыша.
Попробуйте предположить, как решить проблему #3.
Задание
Посмотрите на гифку и укажите, как можно скорректировать проблему “У людей часто встречается стандартная расстановка и герои без снаряжения”. В этом задании несколько правильных ответов.
Читайте лучшие статьи о запуске и росте продуктов
Раз в неделю будем отправлять свежий дайджест вам на почту. Наc читает 25000 человек 🚀
Перед игрой пользователям можно рекомендовать готовые построения команд для повышения шанса выигрыша. Еще игрокам можно повторно показать этап обучения, где они увидят, как усилить оружие у отдельно взятого героя. Обучать пользователей лучше сразу на практике в режиме игры, чем на примере текстовой инструкции.
Мы предположили, как можно улучшить метрику CR. Используем нашу формулу, чтобы выдвинуть полноценные гипотезы для тестирования.
5 гипотез по улучшению конверсии во второй уровень в игре:
1. Если мы лучше расскажем про геймплей на первом уровне, то это повлияет на увеличение конверсии во второй уровень (CR). Для этого порекомендуем игрокам готовые построения героев команды перед началом битвы, которые помогут им выиграть бой.
2. Если мы улучшим механику автобоя в боях на первом уровне, то это повлияет на увеличение конверсии во второй уровень (CR). Для этого на первом уровне нужно увеличить вероятность выигрыша в автоматическом режиме для игроков.
3. Если мы лучше расскажем про геймплей на онбординге, то это повлияет на увеличение конверсии в завершение второго уровня (CR). Для этого в онбординге покажем игрокам, как усиливать снаряжение и где находить материалы для улучшения.
4. Если мы лучше расскажем про геймплей на онбординге, то это повлияет на увеличение конверсии в завершение второго уровня (CR). Для этого в онбординге добавим пульсирующую надпись “Superpower” к аватарам героев, чтобы пользователи знали, как активировать суперспособности членов команды.
5. Если мы добавим возможность вернуться к прошлому этапу в онбординге, то это повлияет на увеличение конверсии в завершение онбординга (CR). Для этого в игру нужно добавить новый ивент training_goback_click. Игроки будут нажимать кнопку “Вернуться назад”, если захотят пересмотреть непонятный этап обучения.
Гипотезы, которые мы создаем, должны решать не только локальные проблемы (в нашем случае падение CR), но и позитивно влиять на глобальную (Revenue). Если в результате проверки наших гипотез CR вырастет, а Revenue никак не изменится — значит был выбран неправильный вектор. Нужно будет брать новый вектор и строить другие гипотезы.
Шаблон для систематизации гипотез
Чтобы ничего не потерялось, гипотезы нужно задокументировать. Мы подготовили для вас бесплатный шаблон, который упростит создание и фиксирование результатов проверки гипотез. Вся команда будет понимать, что происходит с продуктом.
Мы сформировали и задокументировали гипотезы. Но протестировать все сразу не получится — у команды нет на это денег и времени. Нужна приоритизация.
Об этом мы поговорим в следующей статье.
Резюмируем
Правильно сформулированная гипотеза — это ключевой шаг для решения проблемы в продукте. Совершение ошибки на этом этапе приводит к некорректным выводам и потерянному времени команды.
Чтобы все получилось, придерживайтесь трех принципов:
- Опора на данные
- Исчерпывающее описание гипотезы
- Документация всего процесса
Работа с гипотезами не прекращается после одного эксперимента. Получив новые факты, команде нужно выдвинуть новые гипотезы. Такой подход поможет создать продукт, который действительно нужен пользователям.
