Як сформулювати data-driven гіпотезу за 5 кроків: на прикладі RPG-гри
Одне з ключових завдань продакт-менеджера — стежити за продуктовими метриками та покращувати їх. Для цього потрібно постійно тестувати гіпотези, робити висновки та знову тестувати нові гіпотези. Увесь процес має бути data-driven.
Від коректності гіпотези залежить успіх тестування та якість висновків. Цей крок визначає інші, тому в цій статті ми докладно розберемо роботу з гіпотезами.
За п’ять кроків ми пройдемо від абстрактної проблеми до п’яти data-driven гіпотез для реального продукту. Наприкінці статті — безоплатний шаблон для систематизації гіпотез.
Проблема в продукті
Уявіть, що ви продакт-менеджер мобільної гри AFK Arena.
Гра містить класичні елементи RPG. Гравцям потрібно зібрати команду героїв та боротися з ворогами. Також вони можуть боротися з іншими гравцями на арені та здобувати рідкісні призи за участь у тимчасових подіях.
Особливість гри в тому, що вона створена для «лінивих» гравців. Основні нагороди користувачі здобувають за час відсутності, а всі бої можна проходити в автоматичному режимі. Головне — зібрати команду із потужних героїв та з сильним спорядженням.
Ось така гра на вигляд:
Вам написала Емма, продуктовий аналітик. Здається, вона чимось схвильована.
Ми дізналися про глобальну проблему продукту. Щоб її розв'язати, потрібно пройти шлях із семи кроків.
1. Дивимося на факти та шукаємо глобальну проблему.
2. Запитуємо себе: чому ця проблема існує?
3. Визначаємо вектор.
4. Шукаємо локальну проблему.
5. Формулюємо гіпотезу для локальних проблем
6. Тестуємо гіпотезу, робимо висновок. Дивимося, чи розв'язано глобальну проблему.
7. Проводимо ітерацію: з урахуванням отриманих фактів формулюємо нову гіпотезу.
У цій статті ми розглянемо лише перші п’ять кроків, останні два кроки — тема для окремої великої статті.
Як створювати data-driven-гіпотези
Крок 1. Погляньмо на факти та знайдімо глобальну проблему
Перед формулюванням гіпотези треба правильно оцінити ситуацію. Проблема має бути підкріплена фактом, а не абстрактними оцінками «все погано» чи «конверсія не дуже».
У нашому випадку глобальна проблема — виторг знизився на 20%.
Крок 2. Запитаймо себе: чому ця проблема існує?
Виторг залежить від кількох змінних. Ми показали їх на цьому дереві метрик:
Насамперед треба зрозуміти, проблема з кількістю користувачів (Users) або середнім виторгом з одного користувача (ARPU).
Уточнімо в Емми, де з більшою ймовірністю могла постати проблема.
Гайд з найкращими статтями skillsetter
Крок 3. Визначмо вектор
На цьому кроці важливо зрозуміти, на яку метрику ми впливатимемо, висуваючи наші гіпотези щодо покращення. Емма надіслала нам дані щодо кількості користувачів на кожному етапі гри. Потрібно порахувати конверсію, щоб зрозуміти, де утворилося вузьке місце в нашій воронці.
Завдання
Відомо, що за останній місяць гру встановили 725 тисяч осіб. Онбординг почали проходити 623500 гравців. Закінчили онбординг та дійшли до 1 рівня 611 030 користувачів. До 2 рівня дійшло 152 757 гравців. До 25-го рівня — 122 602. Порахуйте конверсії на кожному етапі та виберіть етап, де з’явилося вузьке місце.
Далі ми створюватимемо гіпотези для метрики CR (Conversion Rate) у 2 рівень. Саме вона вплинула на падіння виторгу нашого продукту.
Крок 4. Шукаймо локальну проблему
Ми знаємо, що проблема криється в першому рівні. Але де конкретно, ми ще маємо розібратися.
Ви написали Еммі та попросили її допомогти.
Ми побачили, перед якими труднощами постають гравці. Тепер настав час сформулювати гіпотези про те, як розв'язати ці проблеми та збільшити конверсію.
Крок 5. Сформулюймо гіпотези для локальних проблем
Гіпотеза — це наш варіант розв'язання проблеми. У ній має бути інформація про те, на яку функціональність продукту ми хочемо вплинути, як наше припущення вплине на метрики. Також важливо описати конкретні кроки щодо реалізації гіпотези.
У підсумку гіпотеза має набути такого вигляду:
«Якщо ми зробимо [функціональність продукту], це вплине на [метрику Х]. Для цього в продукті зробимо [опис того, що потрібно зробити]».
Однією з помилок є плутанина у використанні кількісних та якісних методів. Наприклад, A/B-тест може показати, який варіант дизайну вашої вебсторінки збільшує конверсію в купівлю.
Однак цей кількісний метод не дасть відповіді на питання, чому так відбувається. Тут потрібно буде формулювати та перевіряти гіпотези, проводячи інтерв’ю чи юзабіліті-тестування.
Спробуймо висунути припущення для покращення метрик івентів у грі:
Для розв'язання проблеми #1 можна додати пульсівний напис «Superpower» до аватарів героїв. Так користувачі зрозуміють, що під час натискання активують надздібність членів команди. Щоби проблема #2 зникла, потрібно покращити механіку автоматичного режиму битви та зменшити ймовірність програшу. Спробуйте припустити, як розв'язати проблему #3.
Завдання
Подивіться на гіфку та вкажіть, як можна скоригувати проблему «У людей часто трапляється стандартне розставлення та герої без спорядження». У цьому завданні є кілька правильних відповідей.
Читайте кращі статті про запуск і ріст продуктів
Один раз в тиждень будемо відправляти свіжий дайджест вам на пошту. Нас читають 25000 осіб 🚀
Перед грою користувачам можна рекомендувати готові вишикування команд, щоб підвищити шанс на виграш. Ще гравцям можна повторно показати етап навчання, де вони побачать, як посилити зброю окремо взятого героя. Навчати користувачів краще відразу практично в режимі гри, ніж на прикладі текстової інструкції.
Ми припустили, як можна покращити метрику CR. Використовуємо нашу формулу, щоб висунути повноцінні гіпотези для тестування.
5 гіпотез щодо покращення конверсії в другий рівень у грі:
1. Якщо ми краще розповімо про геймплей на першому рівні, це вплине на збільшення конверсії в другий рівень (CR). Для цього порекомендуємо гравцям готові вишикування героїв команди перед початком битви, які допоможуть виграти бій.
2. Якщо ми покращимо механіку автобою в боях на першому рівні, то це вплине на збільшення конверсії на другий рівень (CR). Для цього на першому рівні потрібно збільшити можливість виграшу в автоматичному режимі для гравців.
3. Якщо ми краще розповімо про геймплей на онбордингу, це вплине збільшення конверсії в завершення другого рівня (CR). Для цього в онбордингу покажемо гравцям, як посилювати спорядження та де знаходити матеріали для покращення.
4. Якщо ми краще розповімо про геймплей на онбордингу, це вплине збільшення конверсії в завершення другого рівня (CR). Для цього в онбордингу додамо пульсівний напис Superpower до аватарів героїв, щоб користувачі знали, як активувати суперздібності членів команди.
5. Якщо ми додамо можливість повернутися до попереднього етапу в онбордингу, це вплине на збільшення конверсії в завершення онбордингу (CR). Для цього до гри потрібно додати новий івент training_goback_click. Гравці натискатимуть кнопку
«Повернутися назад», якщо захочуть переглянути незрозумілий етап навчання.
Гіпотези, які ми створюємо, мають розв'язувати не лише локальні проблеми (у нашому випадку — падіння CR), але й позитивно впливати на глобальну (Revenue). Якщо внаслідок перевірки наших гіпотез CR виросте, а Revenue ніяк не зміниться, то ми вибрали хибний вектор. Потрібно буде брати новий вектор та будувати інші гіпотези.
Шаблон для систематизації гіпотез
Щоб нічого не загубилося, гіпотези варто задокументувати. Ми підготували для вас безплатний шаблон, який спростить створення та фіксування результатів перевірки гіпотез. Уся команда розумітиме, що відбувається із продуктом.
Ми сформували та задокументували гіпотези. Але протестувати все відразу не вдасться — команда не має на це грошей і часу. Потрібна пріоритезація.
Про це ми поговоримо в наступній статті.
Підсумуймо
Правильно сформульована гіпотеза є ключовим кроком для розв'язання проблеми в продукті. Якщо помилитися на цьому етапі, це призведе до некоректних висновків та змарнованого часу команди.
Щоб усе вдалося, дотримуйтеся трьох принципів:
Опора на дані
Вичерпний опис гіпотези
Документування всього процесу
Робота з гіпотезами не припиняється після експерименту. Отримавши нові факти, команда має висунути нові гіпотези. Такий підхід допоможе створити продукт, який дійсно потрібен користувачам.
