Українська
Українська
Русский
Українська
Українська
Русский

Сообщение об ошибке

Вы собираетесь отправить сообщение о следующей ошибке:

Пожалуйста, опишите суть ошибки

Как сформулировать data-driven гипотезу за 5 шагов: на примере RPG игры

Одна из ключевых задач продакт-менеджера — следить за продуктовыми метриками и улучшать их. Для этого нужно постоянно тестировать гипотезы, делать выводы и снова тестировать новые гипотезы. Весь процесс должен быть data-driven.


От корректности гипотезы зависит успех тестирования и качество выводов. Этот шаг определяет остальные, поэтому в этой статье мы подробно разберем именно работу с гипотезами.


За пять шагов мы пройдем от абстрактной проблемы до пяти data-driven гипотез для реального продукта. В конце статьи — бесплатный шаблон для систематизации гипотез.

Проблема продукта

Представьте, что вы продакт-менеджер мобильной игры AFK Arena.


Игра включает в себя классические элементы RPG. Игрокам нужно собрать команду героев и сражаться с врагами. Также они могут сражаться с другими игроками на арене и получать редкие призы за участие во временных событиях.

Особенность игры в том, что она создана для «ленивых» игроков. Основные награды пользователи получают во время своего отсутствия, а все бои можно проходить в автоматическом режиме. Главное — собрать команду из мощных героев и с сильным снаряжением.


Вот так выглядит игра:



Вам написала Эмма, продуктовый аналитик. Кажется, она чем-то взволнована.

Привет! Я вчера прогнозировала выручку нашей компании за этот месяц. Предварительные результаты не радуют. 

Привет, Эмма! Что не так с выручкой?

Мы получим меньше денег, чем за предыдущий период, на целых 20% 

Вышли мне данные, я разберусь.
Мы узнали о глобальной проблеме в продукте. Чтобы ее решить, нужно пройти путь из семи шагов.

1. Смотрим на факты и ищем глобальную проблему.

2. Задаем себе вопрос: почему эта проблема существует?

3. Определяем вектор.

4. Ищем локальную проблему.

5. Формулируем гипотезу для локальных проблем

6. Тестируем гипотезу, делаем вывод. Смотрим, решилась ли глобальная проблема.

7. Проводим итерацию: на основе полученных фактов формулируем новую гипотезу.

В этой статье мы рассмотрим только первые пять шагов, последние два шага — тема для отдельной большой статьи.

Как создавать data-driven гипотезы

Шаг 1. Смотрим на факты и ищем глобальную проблему

Перед формулировкой гипотезы необходимо правильно оценить ситуацию. Проблема должна быть подкреплена фактом, а не абстрактными оценками “все плохо” или “конверсия не очень”.

В нашем случае глобальная проблема — выручка снизилась на 20%.

Шаг 2. Задаем себе вопрос: почему эта проблема существует?

Выручка зависит от нескольких переменных. Мы отобразили их на этом дереве метрик:


схема дерева метрик мобильной игры


В первую очередь надо понять, проблема с количеством пользователей (Users) или средней выручкой с одного пользователя (ARPU).

Уточним у Эммы, где с большей вероятностью могла возникнуть проблема.

Эмма, как думаешь, могло на выручку повлиять ухудшение метрики ARPU?

Нет. Средний чек не изменился по сравнению с прошлым месяцем, как и лайфтайм игроков. Даже конверсия в платеж повысилась. Однако я увидела сильную разницу в количестве пользователей на каждом этапе игры.

Теперь все понятно. Спасибо!

Эмма сообщила нам, что в части ARPU показатели не ухудшились. Значит, проблема с количеством пользователей. Осталось понять, что конкретно повлияло на эту метрику.

Гайд по лучшим статьям skillsetter

В нашем блоге уже больше 150 статей про рост продуктов и карьеру в IT. Для удобной навигации мы объединили их в тематические подборки.

Выбрать подборку

Шаг 3. Определяем вектор

На данном шаге важно понять, на какую метрику мы будем влиять, выдвигая наши гипотезы по улучшению. Эмма выслала нам данные по количеству пользователей на каждом этапе игры. Нужно посчитать конверсию, чтобы понять, где образовалось узкое место в нашей воронке.

Задание

Известно, что за последний месяц игру установило 725 000 человек. Онбординг начали проходить 623 500 игроков. Закончили онбординг и дошли до 1 уровня 611 030 пользователей. До 2 уровня доходит 152 757 игроков. До 25-ого уровня — 122 602. Посчитайте конверсии на каждом этапе и выберите этап, где появилось узкое место.

Выберите один из вариантов

Дальше мы будем создавать гипотезы для метрики CR (Conversion Rate) во 2 уровень. Именно она повлияла на падение выручки нашего продукта.

Шаг 4. Ищем локальную проблему

Мы знаем, что проблема скрывается в первом уровне. Но где конкретно, мы еще должны разобраться.

Вы написали Эмме и попросили ее помочь.

Эмма, у тебя есть данные по тому, что конкретно могло не понравиться игрокам на первом уровне?

Да, у меня получилось выделить три локальных проблемы, после которых пользователи уходят из игры.

Слушаю.

Первое, что я увидела, игроки редко используют сверхспособности героев во время битвы.

локальная проблема мобильной игры

Хм. Во время битвы аватары героев светятся, когда их суперспособность готова к использованию. Возможно, игроки не успевают нажать и понять эту подсказку. 

Ага. Обрати также внимание, что часть пользователей уходят после того, как сыграют битву в автоматическом режиме.

локальная проблема мобильной игры — уход пользователей

Помню этот момент. Иногда система запускает суперспособности героев раньше, чем нужно. Это может привести к проигрышу. Игроки расстраиваются и поэтому удаляют игру.

Есть еще кое-что. Часто у пользователей остается стандартная расстановка героев и не прокачано снаряжение. Видимо, во время онбординга непонятно, как правильно расставлять героев для битвы и улучшать снаряжение.

локальная проблема мобильной игры — непонятный онбординг

Понятно. Мощность снаряжения и расстановка героев сильно влияют на итог боя. Надо как можно раньше донести это до игроков.

Спасибо за помощь!

Мы увидели, с какими сложностями сталкиваются игроки. Теперь пора сформулировать гипотезы о том, как решить эти проблемы и увеличить конверсию.

Шаг 5. Формулируем гипотезы для локальных проблем

Гипотеза — это наш вариант решения проблемы. В ней должна быть информация о том, на какую функциональность продукта мы хотим повлиять, как наше предположение повлияет на метрики. Также важно описать конкретные шаги по реализации гипотезы.

В итоге гипотеза должна принять следующий вид:

“Если мы сделаем [функциональность продукта], то это повлияет на [метрику Х]. Для этого в продукте сделаем [описание того, что нужно сделать]”.

как формулировать гипотезы


Формирование гипотез может ошибочно показаться легкой задачей. Однако в этом процессе легко допустить глупые ошибки. Как их избежать, рассказано в статье от Product Talk.


Одной из ошибок является путаница в использовании количественных и качественных методов. Например, A/B тест может показать, какой вариант дизайна вашей веб-страницы увеличивает конверсию в покупку.


Однако этот количественный метод не ответит на вопрос, почему так происходит. Здесь нужно будет формулировать и проверять гипотезы, проводя интервью или юзабилити-тестирование.


Давайте попробуем выдвинуть предположения для улучшения метрик ивентов в игре:


Для решения проблемы #1 можно добавить пульсирующую надпись “Superpower” к аватарам героев. Так пользователи поймут, что при нажатии они активируют сверхспособность членов команды. Чтобы проблема #2 исчезла, нужно улучшить механику автоматического режима битвы и уменьшить вероятность проигрыша. Попробуйте предположить, как решить проблему #3.

Бесплатный курс по продакт-менеджменту

За 3 дня вы научитесь мыслить как продакт и успешнее справляться с задачами на работе и в жизни

Начать учиться бесплатно

Задание

Посмотрите на гифку и укажите, как можно скорректировать проблему “У людей часто встречается стандартная расстановка и герои без снаряжения”. В этом задании несколько правильных ответов.


Выберите несколько вариантов

Перед игрой пользователям можно рекомендовать готовые построения команд для повышения шанса выигрыша. Еще игрокам можно повторно показать этап обучения, где они увидят, как усилить оружие у отдельно взятого героя. Обучать пользователей лучше сразу на практике в режиме игры, чем на примере текстовой инструкции.

Мы предположили, как можно улучшить метрику CR. Используем нашу формулу, чтобы выдвинуть полноценные гипотезы для тестирования.

5 гипотез по улучшению конверсии во второй уровень в игре:

1. Если мы лучше расскажем про геймплей на первом уровне, то это повлияет на увеличение конверсии во второй уровень (CR). Для этого порекомендуем игрокам готовые построения героев команды перед началом битвы, которые помогут им выиграть бой.

2. Если мы улучшим механику автобоя в боях на первом уровне, то это повлияет на увеличение конверсии во второй уровень (CR). Для этого на первом уровне нужно увеличить вероятность выигрыша в автоматическом режиме для игроков.

3. Если мы лучше расскажем про геймплей на онбординге, то это повлияет на увеличение конверсии в завершение второго уровня (CR). Для этого в онбординге покажем игрокам, как усиливать снаряжение и где находить материалы для улучшения. 

4. Если мы лучше расскажем про геймплей на онбординге, то это повлияет на увеличение конверсии в завершение второго уровня (CR). Для этого в онбординге добавим пульсирующую надпись “Superpower” к аватарам героев, чтобы пользователи знали, как активировать суперспособности членов команды.

5. Если мы добавим возможность вернуться к прошлому этапу в онбординге, то это повлияет на увеличение конверсии в завершение онбординга (CR). Для этого в игру нужно добавить новый ивент training_goback_click. Игроки будут нажимать кнопку “Вернуться назад”, если захотят пересмотреть непонятный этап обучения.

Гипотезы, которые мы создаем, должны решать не только локальные проблемы (в нашем случае падение CR), но и позитивно влиять на глобальную (Revenue). Если в результате проверки наших гипотез CR вырастет, а Revenue никак не изменится — значит был выбран неправильный вектор. Нужно будет брать новый вектор и строить другие гипотезы.

Читайте лучшие статьи о запуске и росте продуктов

Раз в неделю будем отправлять свежий дайджест вам на почту. Наc читает 25000 человек 🚀

Шаблон для систематизации гипотез

Чтобы ничего не потерялось, гипотезы нужно задокументировать. Мы подготовили для вас бесплатный шаблон, который упростит создание и фиксирование результатов проверки гипотез. Вся команда будет понимать, что происходит с продуктом.

шаблон для систематизации гипотез

Мы сформировали и задокументировали гипотезы. Но протестировать все сразу не получится — у команды нет на это денег и времени. Нужна приоритизация. 

Об этом мы поговорим в следующей статье.

Резюмируем

Правильно сформулированная гипотеза — это ключевой шаг для решения проблемы в продукте. Совершение ошибки на этом этапе приводит к некорректным выводам и потерянному времени команды.

Чтобы все получилось, придерживайтесь трех принципов:

  • Опора на данные
  • Исчерпывающее описание гипотезы
  • Документация всего процесса

Работа с гипотезами не прекращается после одного эксперимента. Получив новые факты, команде нужно выдвинуть новые гипотезы. Такой подход поможет создать продукт, который действительно нужен пользователям.

Рекомендуем почитать

UX-схема экранов приложения

Как сделать свой Pet Project: реальный пример и подробный гайд

затраты, которые входят в стоимость привлечения клиента

Как на самом деле считать стоимость привлечения клиентов: подробный гайд по САС

юнит экономика — это что такое

Как за 6 шагов посчитать юнит-экономику идеи для стартапа

← Читать другие статьи в блоге Получить реальные навыки