Как приоритизировать гипотезы на примере RPG игры: 3 проверенных фреймворка

Маркетолог кричит, что нужен новый онбординг. Дизайнер хочет переделать личный кабинет. CEO мечтает о машин лернинге на экране оплаты. Все фичи важные, все фичи срочные.

В такой ситуации продакт-менеджер должен вздохнуть и начать приоритизировать. Из всех хотелок нужно выбрать те, которые дадут продукту кратный рост. Иначе команда потеряет деньги и время.

В этой статье мы расскажем о трех способах приоритизации: ICE Score, RICE Score и Lean Prioritization Canvas. Каждый метод мы протестируем на пяти гипотезах для RPG игры. В конце статьи — бесплатный шаблон для приоритизации гипотез.

С чего начать

Представьте, что вы — продакт менеджер мобильной RPигры AFK Arena. В прошлой статье вы уже сформулировали пять data-driven гипотез для улучшения конверсии в первом уровне. С какой гипотезы начать — непонятно.

Игра включает в себя классические элементы RPG. Игрокам нужно собрать команду героев и сражаться с врагами. Также они могут сражаться с другими игроками на арене и получать редкие призы за участие во временных событиях. 

Особенность игры в том, что она создана для "ленивых" игроков. Основные награды пользователи получают во время своего отсутствия, а все бои можно проходить в автоматическом режиме. Главное — собрать команду из мощных героев и с сильным снаряжением. 

Вот так выглядит игра:

ICE Score

Формула ICE включает в себя три элемента.

1. Impact — влияние;

2. Confidence — уверенность;

3. Ease — легкость исполнения.

Рассчитывается она так:

Это лишь один из вариантов, формул существует несколько. Некоторые продакты адаптируют ее под свои задачи и просто умножают все числа. Главное — чтобы формула была одинаковой для всех гипотез, которые вы сравниваете между собой.

В ICE должен быть одинаковый диапазон оценок — либо от 1 до 10, либо от 1 до 100, либо другая шкала (you name it).

Разберемся с каждым элементом ICE Score.

Impact

Влияние — оценка того, насколько идея положительно повлияет на показатель, который вы пытаетесь улучшить.

Для определения влияния мы задаем следующие вопросы: насколько это будет эффективно? Насколько сильно это повлияет на метрики?

Допустим, вы пытаетесь упростить новому участнику создание учетной записи. Изменение текста на кнопке отправки может привести к небольшому улучшению конверсии в регистрацию. А добавление нового метода аутентификации потенциально может иметь гораздо большее влияние.

Confidence

Уверенность показывает, насколько вы доверяете оценкам влияния и легкости реализации. 

Чтобы определить этот показатель, надо ответить на вопрос: насколько вы уверены, что эта фича приведет к такому улучшению, которое описано в Impact, и будет настолько же легка в исполнении, как описано в Ease.

Есть только один способ подсчитать уверенность — искать подтверждающие доказательства. Для этой цели есть полезный фреймворк.

Шкала от 1 до 10 и разделена на шесть секторов уверенности:

«Около нуля» — такой уверенности мы даем от 0,01 до 0,1 балла. Это личная уверенность продакта в фиче, отраслевые тренды, внешние исследования.

«Очень низкая» — от 0,1 до 0,5 балла. Сюда относятся мнения команды, инвесторов, внешних экспертов. Грубые подсчеты и прогнозы, созданные продакт-менеджером.

«Низкая» — от 0,5 до 1 балла. Это несколько заинтересованных клиентов, наличие фичи у конкурента.

«Чуть выше низкой» — от 1 до 3 баллов. Поддерживают оценку такие факторы: исследования рынка, smoke tests, фича есть у всех конкурентов. Для оценки “3” нужны реальные данные о продукте, интервью с 20+ пользователями, исследования юзабилити, MVP.

«Повышенная» — от 3 до 7 баллов. Это уверенность, подкрепленная длинными пользовательскими исследованиями, масштабированный MVP, A/B тесты.

«Высокая» — от 7 до 10 баллов. Этот уровень уверенности может быть, если продакт-менеджер уже тестировал такую функциональность на этом продукте.

Ease

Легкость реализации — это оценка того, сколько усилий и ресурсов потребуется для реализации этой идеи. Обычно этот показатель измеряется в человеко-неделях. Чем легче задание, тем выше цифра.

Чтобы определить легкость реализации, надо ответить на вопросы: сколько времени это займет? Сколько человек будут вовлечены? Учитывайте работу отделов разработки, дизайна, маркетинга.

Потренируемся оценивать гипотезы по ICE Score. Вы разработали гипотезы для мобильной игры AFK Arena. Игра включает в себя классические элементы RPG. Взглянем на все гипотезы и проанализируем одну из них.

“Если мы лучше расскажем про геймплей на первом уровне, то это повлияет на увеличение конверсии во второй уровень (CR). Для этого порекомендуем игрокам готовые построения героев команды перед началом битвы, которые помогут им выиграть бой”. 

Насколько положительно это повлияет на конверсию? Кажется, что значительно. Ранее, когда вы добавляли обучающие элементы, конверсия увеличилась на 30%. Поэтому можно дать 6 баллов из 10 по Impact. 

Оценим Confidence. Если мы расскажем про удачную расстановку игроков, то это поможет удержать игроков. Это доказывается запросами в поисковиках по игре. К тому же, вы внедряли похожие фичи раньше. Ставим фиче 8 баллов.

Чтобы показать, куда лучше ставить бойцов, вам понадобятся разработчик и 2 дизайнера. Они смогут сделать это за 2 недели. Выходит 6 человеко-недель. Даем гипотезе 6 баллов по Ease.

Значит, ICE Score этой гипотезы:

(6 + 8 + 6) / 3 = 6.6 баллов.

Задание

Конечно, все оценки субъективны и зависят от мнения продакт-менеджера. Если попросить трех продактов оценить одну и ту же гипотезу, то оценки будут разные. Зато ICE score можно использовать, когда данных недостаточно или совсем нет.

RICE Score

RICE — это еще один метод приоритизации идей и фич продукта. Фреймворк включает 4 фактора:

1. Reach — охват;

2. Impact — влияние;

3. Confidence — уверенность в вашей оценке охвата, влияния и трудозатрат;

4. Effort — трудозатраты.

Проанализируем первую гипотезу. Как мы уже выяснили, ее Reach равен 611 030. Impact равен 1, так как это средне повлияет на пользователей. Дадим 80% по Confidence — мы уверены, что раньше подобные фичи повышали конверсию. Effort составляет 0.5 — разработка этой фичи займет меньше месяца.

Значит, RICE Score этой гипотезы равен:

(611 030 x 1 x 80%) / 0.5 = 977 648.

Посмотрим на цифры всех пяти гипотез, оцененных по RICE score. В этот раз самой приоритетной оказалась третья гипотеза: CR вырастет, если рассказать во время онбординга о том, как усиливать снаряжение и искать для него материалы.

RICE score больше подходит для анализа гипотез, по которым уже собрано какое-то количество данных. Он более data-driven.

Но есть еще один фреймворк, который используют продакт-менеджеры для приоритизации гипотез.

Lean Hypothesis Prioritization Canvas

Это простой способ приоритизации, основанный на матрице 2×2 с двумя осями: ценность (Value) и сложность (Effort).

Value — это то, какой вклад приносит конкретная фича.

Effort (risk) — это усилия, необходимые для реализации фичи.

Какой фреймворк выбрать

Все три фреймворка: ICE Score, RICE Score и Lean Prioritization Canvas относительно субъективны. В этом есть и плюсы — если продакт уверен в своей гипотезе, он докрутит ее до блестящей идеи. Но иногда бывает, что продакт-менеджер защищает задачу, которая обречена на провал. Выход из такой ситуации — привлечение для оценки человека со стороны.

RICE score нужно выбирать, когда у нас уже есть какие-то данные по гипотезам — охват аудитории, конверсии. Если данных мало, оценивайте по ICE score. А когда идей для разработки слишком много и совсем не понимаете, какие нужные, а какие нет, можно для первичной оценки использовать Lean Hypothesis Prioritization Canvas.

Если вам нужно тестировать не десятки, а сотни гипотез, имеет смысл автоматизировать процесс. Существуют специальные сервисы для работы с гипотезами. Например, Hygger или Roadmunk.

Вернемся к кейсу нашей игры. Посмотрим на все задачи и то, как мы распределили их по всем трем фреймворкам. Можно заметить, что гипотезы по-разному приоритизируются в каждом фреймворке:

Приоритеты будут зависеть не только от субъективных оценок продакт-менеджера и данных, которые мы получили, но и от фреймворка. В этом мы убедились на примере приоритизации гипотез для AFK Arena.

В телеграм-канале мы сделали бесплатный шаблон для оценки гипотез по трем методам приоритизации. Используйте его, когда сомневаетесь, какой метод выбрать. Внутри — ICE score, RICE score и Lean Hypothesis Prioritization Canvas.

Другие полезные фреймворки и примеры вы найдете в подборке шаблонов для всех, кто работает в IT.