Українська
Українська
Русский
Українська
Українська
Русский

Сообщение об ошибке

Вы собираетесь отправить сообщение о следующей ошибке:

Пожалуйста, опишите суть ошибки

Как приоритизировать гипотезы на примере RPG игры: 3 проверенных фреймворка

Маркетолог кричит, что нужен новый онбординг. Дизайнер хочет переделать личный кабинет. CEO мечтает о машин лернинге на экране оплаты. Все фичи важные, все фичи срочные.

В такой ситуации продакт-менеджер должен вздохнуть и начать приоритизировать. Из всех хотелок нужно выбрать те, которые дадут продукту кратный рост. Иначе команда потеряет деньги и время.

В этой статье мы расскажем о трех способах приоритизации: ICE Score, RICE Score и Lean Prioritization Canvas. Каждый метод мы протестируем на пяти гипотезах для RPG игры. В конце статьи — бесплатный шаблон для приоритизации гипотез.

С чего начать

Представьте, что вы — продакт менеджер мобильной RPигры AFK Arena. В прошлой статье вы уже сформулировали пять data-driven гипотез для улучшения конверсии в первом уровне. С какой гипотезы начать — непонятно.

Игра включает в себя классические элементы RPG. Игрокам нужно собрать команду героев и сражаться с врагами. Также они могут сражаться с другими игроками на арене и получать редкие призы за участие во временных событиях. 

Особенность игры в том, что она создана для "ленивых" игроков. Основные награды пользователи получают во время своего отсутствия, а все бои можно проходить в автоматическом режиме. Главное — собрать команду из мощных героев и с сильным снаряжением. 

Вот так выглядит игра:


Вы решаете обратиться за помощью к продуктовому аналитику Эмме.

Привет, Эмма. Нужна твоя помощь.

У меня есть несколько гипотез для улучшения конверсий в AFK Arena. Не знаю, какую начать тестировать первой. Я могу начать с любой?

Привет! Начать с любой нельзя, нужно приоритизировать твои гипотезы. Не все гипотезы, которые у нас есть, оказываются такими важными, как нам кажется на первый взгляд. А это время и деньги команды.

К тому же, если мы будем тестировать несколько гипотез одновременно, то будет неясно, что именно повлияло на метрику. Представь, что мы одновременно тестируем две гипотезы по улучшению платежного экрана: новый текст и другой цвет фона. Как мы поймем, что именно повлияло на конверсию в платеж? Никак. Нужна приоритизация.

Спасибо за совет! Пойду разбираться

Как и сказала Эмма, приоритизация гипотез очень важна. Она помогает понять, что следует выполнять в первую очередь, чтобы донести до пользователя максимум ценности, улучшить метрики и заработать больше денег для компании.

В этой статье мы расскажем о трех способах приоритизации: ICE Score, RICE Score и Lean Prioritization Canvas. Рассмотрим первый.

Гайд по лучшим статьям skillsetter
В нашем блоге уже больше 150 статей про рост продуктов и карьеру в IT. Для удобной навигации мы объединили их в тематические подборки.
Выбрать подборку

ICE Score

Формула ICE включает в себя три элемента.

1. Impact — влияние;

2. Confidence — уверенность;

3. Ease — легкость исполнения.

Рассчитывается она так:

Это лишь один из вариантов, формул существует несколько. Некоторые продакты адаптируют ее под свои задачи и просто умножают все числа. Главное — чтобы формула была одинаковой для всех гипотез, которые вы сравниваете между собой.

В ICE должен быть одинаковый диапазон оценок — либо от 1 до 10, либо от 1 до 100, либо другая шкала (you name it).

Разберемся с каждым элементом ICE Score.

Impact

Влияние — оценка того, насколько идея положительно повлияет на показатель, который вы пытаетесь улучшить.


Для определения влияния мы задаем следующие вопросы: насколько это будет эффективно? Насколько сильно это повлияет на метрики?


Допустим, вы пытаетесь упростить новому участнику создание учетной записи. Изменение текста на кнопке отправки может привести к небольшому улучшению конверсии в регистрацию. А добавление нового метода аутентификации потенциально может иметь гораздо большее влияние.

Confidence

Уверенность показывает, насколько вы доверяете оценкам влияния и легкости реализации. 


Чтобы определить этот показатель, надо ответить на вопрос: насколько вы уверены, что эта фича приведет к такому улучшению, которое описано в Impact, и будет настолько же легка в исполнении, как описано в Ease.


Есть только один способ подсчитать уверенность — искать подтверждающие доказательства. Для этой цели есть полезный фреймворк.

Шкала от 1 до 10 и разделена на шесть секторов уверенности:


«Около нуля» — такой уверенности мы даем от 0,01 до 0,1 балла. Это личная уверенность продакта в фиче, отраслевые тренды, внешние исследования.

«Очень низкая» — от 0,1 до 0,5 балла. Сюда относятся мнения команды, инвесторов, внешних экспертов. Грубые подсчеты и прогнозы, созданные продакт-менеджером.

«Низкая» — от 0,5 до 1 балла. Это несколько заинтересованных клиентов, наличие фичи у конкурента.

«Чуть выше низкой» — от 1 до 3 баллов. Поддерживают оценку такие факторы: исследования рынка, smoke tests, фича есть у всех конкурентов. Для оценки “3” нужны реальные данные о продукте, интервью с 20+ пользователями, исследования юзабилити, MVP.

«Повышенная» — от 3 до 7 баллов. Это уверенность, подкрепленная длинными пользовательскими исследованиями, масштабированный MVP, A/B тесты.

«Высокая» — от 7 до 10 баллов. Этот уровень уверенности может быть, если продакт-менеджер уже тестировал такую функциональность на этом продукте.

Ease


Легкость реализации — это оценка того, сколько усилий и ресурсов потребуется для реализации этой идеи. Обычно этот показатель измеряется в человеко-неделях. Чем легче задание, тем выше цифра.


Чтобы определить легкость реализации, надо ответить на вопросы: сколько времени это займет? Сколько человек будут вовлечены? Учитывайте работу отделов разработки, дизайна, маркетинга.


Если эту задачу могут выполнить 6 человек за 2 недели, это 12 недель, оценка 4. Если это разработка фичи, которая требует работы 8 человек и займет 2 месяца, то это 64, оценка 1.

Чем быстрее вы сможете получить результаты, тем быстрее вы сможете выполнить итерацию и провести следующий тест. Гипотезы, которые можно протестировать за короткое время, в приоритете.

Потренируемся оценивать гипотезы по ICE Score. Вы разработали гипотезы для мобильной игры AFK Arena. Игра включает в себя классические элементы RPG. Взглянем на все гипотезы и проанализируем одну из них.

“Если мы лучше расскажем про геймплей на первом уровне, то это повлияет на увеличение конверсии во второй уровень (CR). Для этого порекомендуем игрокам готовые построения героев команды перед началом битвы, которые помогут им выиграть бой”. 

Насколько положительно это повлияет на конверсию? Кажется, что значительно. Ранее, когда вы добавляли обучающие элементы, конверсия увеличилась на 30%. Поэтому можно дать 6 баллов из 10 по Impact. 

Оценим Confidence. Если мы расскажем про удачную расстановку игроков, то это поможет удержать игроков. Это доказывается запросами в поисковиках по игре. К тому же, вы внедряли похожие фичи раньше. Ставим фиче 8 баллов.

Чтобы показать, куда лучше ставить бойцов, вам понадобятся разработчик и 2 дизайнера. Они смогут сделать это за 2 недели. Выходит 6 человеко-недель. Даем гипотезе 6 баллов по Ease.

Значит, ICE Score этой гипотезы:

(6 + 8 + 6) / 3 = 6.6 баллов.

Задание

Посмотрите на цифры с расчетами по всем гипотезам, которые у нас получились по ICE score. Какая из них получилась более приоритетной?

Выберите один из вариантов

Конечно, все оценки субъективны и зависят от мнения продакт-менеджера. Если попросить трех продактов оценить одну и ту же гипотезу, то оценки будут разные. Зато ICE score можно использовать, когда данных недостаточно или совсем нет.

О своих успехах вы пишете аналитику.

Эмма, смотри, я приоритизировал все по айс-скор. Получается, следует начать тест с первой гипотезы. Добавить в первый уровень подсказку, как расставить персонажей в бою.

Не торопись. Я бы добавила больше цифр к твоему ICE score. Есть такой фреймворк — RICE score. Они похожи по названию, но все же отличаются.

Чем?

Кроме похожих с ICE показателей, там еще измеряют Reach — на какое количество пользователей повлияет гипотеза. Это всегда точная цифра, которую можно посмотреть, поэтому результат приоритизации будет более data-driven.

Спасибо, Эмма! Попробую разобраться 😉

Эмма дала хороший совет. Все-таки при приоритизации гипотез лучше опираться на реальные данные. Посмотрим, как работает RICE score.

Бесплатный курс по продакт-менеджменту
За 3 дня вы научитесь мыслить как продакт и успешнее справляться с задачами на работе и в жизни
Начать учиться бесплатно

RICE Score

RICE — это еще один метод приоритизации идей и фич продукта. Фреймворк включает 4 фактора:

1. Reach — охват;

2. Impact — влияние;

3. Confidence — уверенность в вашей оценке охвата, влияния и трудозатрат;

4. Effort — трудозатраты.


Сейчас мы разберем каждый из критериев RICE score.

Reach

Уровень охвата измеряется количеством ваших пользователей, которые увидят изменения в продукте.

Важно акцентировать внимание на реальных метриках, а не прикидывать числа из головы. Это могут быть посещения сайта в квартал или количество покупок приложения в месяц. Чтобы оценки Reach, поможет метрика Feature Discovery.

Feature Discovery — это процент людей, которые нашли и воспользовались фичей в продукте. Например, у игры 200 000 активных пользователей. А feature discovery бонусной мини-игры на карте равна 35%. Значит, если мы изменим что-то в этой мини-игре, это заметят 70 000 пользователей. Это и будет Reach для фичи.

Impact


С влиянием мы знакомы из ICE-Score. В RICE принято оценивать Impact по трехбальной шкале.

3 для «максимального влияния», 
2 для «высокого», 
1 для «среднего», 
0,5 для «низкого»,
0,25 для «минимального».

Получается, что влияние от 1 до 3 увеличит Score. Влияние 0,5 и 0,25, наоборот, его уменьшит.

Представим, что мы разрабатываем музыкальное стриминговое приложение вроде Spotify. Создание персональных плейлистов окажет огромное влияние на всех клиентов, которые увидят эту фичу, поэтому оценка воздействия равна 3. Возможность поделиться песней в Instagram не так повлияет на пользователей. Поэтому оценка влияния равна 1.

Confidence

Значение confidence похоже на оценку из ICE Score. Если вы считаете, что фича может иметь огромное влияние, но у вас нет данных для доказательства этого, параметр уверенности снизится.

Confidence в RICE Score измеряют в процентах: 100% — «высокая уверенность», 80% — «средняя», 50% — «низкая». Все, что ниже этого, не имеет смысла тестировать. 

Effort

Чтобы действовать быстро и с наименьшими усилиями, оцените общее количество времени, которое потребует проект от всех членов вашей команды: продакта, дизайнеров и разработчиков.

Усилия оцениваются как количество «человеко-месяцев». Это работа, которую один член команды может выполнить за месяц. В отличие от других положительных факторов, большое число в Effort — это минус для фичи. Такую гипотезу мы будем тестировать дольше, а значит она проигрывает остальным.

Оценим по RICE Score нашу гипотезу для игры. Напомним, как звучит гипотеза: «Если мы лучше расскажем про геймплей на первом уровне, то это повлияет на увеличение конверсии во второй уровень (CR). Для этого порекомендуем игрокам готовые построения героев команды перед началом битвы, которые помогут им выиграть бой».

Но для начала посчитаем уровень охвата для нее.

Задание

Каждый месяц 725 000 пользователей устанавливают приложение. Из них до онбординга доходят 86%. Из них до первого уровня — 98%. Посчитайте число пользователей, которые дошли до первого уровня. Запишите вариант ответа в виде целого числа без пробелов. Например: 200

Ваш ответ

Проанализируем первую гипотезу. Как мы уже выяснили, ее Reach равен 611 030. Impact равен 1, так как это средне повлияет на пользователей. Дадим 80% по Confidence — мы уверены, что раньше подобные фичи повышали конверсию. Effort составляет 0.5 — разработка этой фичи займет меньше месяца.

Значит, RICE Score этой гипотезы равен:

(611 030 x 1 x 80%) / 0.5 = 977 648.

Посмотрим на цифры всех пяти гипотез, оцененных по RICE score. В этот раз самой приоритетной оказалась третья гипотеза: CR вырастет, если рассказать во время онбординга о том, как усиливать снаряжение и искать для него материалы.

RICE score больше подходит для анализа гипотез, по которым уже собрано какое-то количество данных. Он более data-driven.

Но есть еще один фреймворк, который используют продакт-менеджеры для приоритизации гипотез.

Читайте лучшие статьи о запуске и росте продуктов

Раз в неделю будем отправлять свежий дайджест вам на почту. Наc читает 25000 человек 🚀

Lean Hypothesis Prioritization Canvas

Это простой способ приоритизации, основанный на матрице 2×2 с двумя осями: ценность (Value) и сложность (Effort).

Value — это то, какой вклад приносит конкретная фича.

Effort (risk) — это усилия, необходимые для реализации фичи.


Горизонтальная ось измеряет вашу оценку риска каждой гипотезы. Чем рисковее, по мнению команды продактов и разработчиков, тем правее надо расположить гипотезу на графике. 

Вертикальная ось измеряет ценность. Чем больше пользы принесет новая фича, тем выше ее располагают. Если она выделит продукт на рынке, то она будет выше по оси ценности.

Мы берем каждую гипотезу, созданную для приоритизации, и наносим ее на матрицу. Завершив этот процесс, мы оцениваем, где оказалась каждая гипотеза. Система координат делит поле на четыре квадрата. Это боксы, в которых гипотезы можно рассортировать по четырем категориям.

Box 1. Test. Мы должны проверить любую гипотезу, попадающую в этот сектор. Это гипотеза, которая может оказать значительное влияние на наш продукт. 

Box 2. Ship & Measure. Гипотезы высокой ценности и низкого риска не требуют исследовательской работы. Мы можем выпустить эти фичи, а потом уже измерить их эффективность. 

Box 3. Don’t test. Usually don’t build. Обычно гипотезы из этой коробки не попадают в продукт. Но иногда в эту коробку попадают полезные гипотезы, которые, правда, не уникальны. Например, оплата по карте.

Box 4. Discard. Гипотезы с низкой ценностью и высоким риском сразу отбрасываются.

Чтобы оценить по этому фреймворку гипотезы, нужно определить шкалу. Обычно это шкала из 10 пунктов, но можно менять значения. Главное, как и в других фреймворках — оценивать все гипотезы одинаково.

Чтобы построить график, надо присвоить Value и Effort значения от -5 до 5. Это делается путем экспертной оценки продакт-менеджера.

Вернемся к AFK Arena. Оценим гипотезы по этому фреймворку. Под риском мы оцениваем как и время разработки продукта, так и риск того, понравится ли он пользователям. Ценность определена по тому, как та или иная фича выделит приложение на рынке. Чем ценнее для пользователя нам кажется эта фича, тем больше мы даем ей балл. 

Финальное распределение можно увидеть на слайде:


Но эту таблицу распределения приоритетов критикуют за проблемы с расстановкой приоритетов Impact / Effort. Как правило, люди склонны переоценивать ценность решения и недооценивать усилия. В итоге гипотезы, которые попадают в коробку “Тест”, могут оказаться более рискованными. Для баланса в Lean Prioritization Canvas не хватает критерия “Уверенность” или его аналога.


Поэтому можно использовать «коробочную» приоритизацию для оценки идей или первичного отбора фичей для последующей оценки по ICE/RICE и другим критериям.

Какой фреймворк выбрать

Все три фреймворка: ICE Score, RICE Score и Lean Prioritization Canvas относительно субъективны. В этом есть и плюсы — если продакт уверен в своей гипотезе, он докрутит ее до блестящей идеи. Но иногда бывает, что продакт-менеджер защищает задачу, которая обречена на провал. Выход из такой ситуации — привлечение для оценки человека со стороны.

RICE score нужно выбирать, когда у нас уже есть какие-то данные по гипотезам — охват аудитории, конверсии. Если данных мало, оценивайте по ICE score. А когда идей для разработки слишком много и совсем не понимаете, какие нужные, а какие нет, можно для первичной оценки использовать Lean Hypothesis Prioritization Canvas.

Если вам нужно тестировать не десятки, а сотни гипотез, имеет смысл автоматизировать процесс. Существуют специальные сервисы для работы с гипотезами. Например, Hygger или Roadmunk.


Вернемся к кейсу нашей игры. Посмотрим на все задачи и то, как мы распределили их по всем трем фреймворкам. Можно заметить, что гипотезы по-разному приоритизируются в каждом фреймворке:



Приоритеты будут зависеть не только от субъективных оценок продакт-менеджера и данных, которые мы получили, но и от фреймворка. В этом мы убедились на примере приоритизации гипотез для AFK Arena.


В телеграм-канале мы сделали бесплатный шаблон для оценки гипотез по трем методам приоритизации. Используйте его, когда сомневаетесь, какой метод выбрать. Внутри — ICE score, RICE score и Lean Hypothesis Prioritization Canvas.
Другие полезные фреймворки и примеры вы найдете в подборке шаблонов для всех, кто работает в IT.

Резюмируем

В приоритизации гипотез нет одного универсального подхода. С одной стороны, нужно опираться на данные. С другой стороны, важно доверять своему чутью, ведь работа продакт-менеджера — принимать решения. Зачастую даже субъективные.


Важно адаптировать фреймворки под свои задачи и не тратить на приоритизацию слишком много времени. Лучше один раз оценить неправильно трудозатраты и опоздать с релизом, чем сидеть часами над фреймворком. Учиться на ошибках легче, когда вы совершаете эти ошибки.


Обсуждаем статью в чате Growth Vibes. Вас ждет дружное сообщество продакт-менеджеров и интернет-маркетологов.

Рекомендуем почитать

интересная и полезная информация для продакта

20 неочевидных фактов из статистики, которые важно знать продакт-менеджеру

продуктовые и маркетинговые метрики продукта — мобильного приложения

Как посчитать Unit-экономику мобильного приложения: исчерпывающий гайд

процесс постановки целей по методу OKR

Как ставить цели, чтобы их достигать: исчерпывающий гайд по OKR

← Читать другие статьи в блоге Получить реальные навыки