A/B-тестирование: что это, зачем нужно и как проводить
Эту статью мы написали с Владимиром Меркушевым, Senior Product Manager в OLX Group. Вот его телеграм-канал.
Продуктовые команды стремятся создать такой продукт, который точно понравится и будет удобен пользователю. Для этого надо принимать десятки решений. Например, где разместить кнопку, какого вида сделать интерфейс и какие фразы повлияют на решение о покупке.
Полагаться на субъективный вкус не стоит, варианты надо тестировать. В этом помогут A/B-тесты, с помощью которых можно проверить эффективность решений при разработке продукта.
Сложность: легкая
Время на чтение: 7 минут
Что будет в статье:
Что такое A/B-тесты и как их проводить?
Кому нужно разбираться в A/B-тестировании?
Когда не стоит использовать A/B-тестирование?
Подборка инструментов для настройки A/B-тестов и ресурсов для самостоятельного изучения темы
Что такое A/B-тестирование?
A/B-тестирование — это инструмент, который помогает командам проверять гипотезы и принимать решения на основе данных, а не интуиции. Суть метода заключается в том, чтобы разделить аудиторию на части и показать ей разные варианты чего-либо, чтобы понять, какая версия лучше.
Тестировать можно дизайн лендинга, цвет и расположение кнопки call to action, форму регистрации, оформление email-рассылки, текст объявления на сайте и другие изменения.
Результаты A/B-теста показывают, какое решение даст большую конверсию в нужное целевое действие. Например, в каком случае больше пользователей перейдет по ссылке, зарегистрируется на сайте или в приложении, подпишется на рассылку, заполнит форму обратной связи. Есть и более сложные тесты, которые направлены на исследование долгосрочных метрик, таких как средний чек или влияние изменений в продукте на прибыль.
Чтобы не сомневаться в достоверности результатов, тест лучше проводить с контрольной выборкой. Для этого нужно разделить аудиторию, на которой будут тестироваться варианты, не на две группы (A и B), а на три (A, A и B). Двум группам показать одну версию, третьей — другую. Это выявит, повлияли ли внешние факторы на результат теста и нет ли ошибок в сборе метрик.
Представьте, вы тестируете форму подписки на сайте магазина.
В это время другой отдел запустил рекламную кампанию на продвижение определенного продукта каталога, и на сайт пришло много пользователей. Они хотят купить сейчас и совершенно не интересуются подпиской, поэтому могут исказить результаты эксперимента.
Контрольная выборка покажет, равномерно ли распределились участники A/B-теста по группам, и не повлияла ли рекламная кампания на его итоги.
Внешние факторы не повлияли на результат, и данным можно доверять, если показатели групп A и A не отличаются. Если отличаются — цифры искажены, а значит принимать решение на основе теста не стоит.
Что делать, если нужно проверить больше двух вариантов? Например, протестировать четыре формы заявки
Если у вас больше двух вариантов, можно провести мультивариантное тестирование.
Принцип тот же, что и в A/B-тесте, только сравнивают одновременно больше двух версий одного изменения. На каждый вариант выделяется часть аудитории для показа, в конце теста их результаты сопоставляются. Выигрывает версия, которая показала лучшие метрики.
Мультивариантным тестом лучше проверять несколько версий с незначительными изменениями. Например, можно протестировать четыре фразы call to action для одной кнопки.
Также этим методом удобно проверить метрики разных комбинаций. Допустим, у вас есть четыре варианта текста для кнопки и два цвета. Мультивариантным тестом можно сравнить восемь возможных версий и узнать, какая комбинация показала лучший результат.
Как и зачем тестировать креативы и их вариации мы подробнее рассказывали в статье о визуале в SMM и платном трафике.
Как и в случае с A/B-тестированием, мультивариантным методом можно проанализировать не только конверсию первого целевого действия, но и оценить дальнейшее поведение пользователей.
Допустим, кнопка красного цвета с текстом «Купить со скидкой» соберет больше всего кликов. Но может оказаться, что конверсия в покупку у этой комбинации в два раза ниже, чем у менее кликабельной кнопки зеленого цвета с текстом «Посмотреть каталог». Победителем не всегда оказывается самая очевидная комбинация.
А можно проводить несколько экспериментов параллельно?
Да, можно. Но с ограничениями.
Выборки двух параллельных тестов не должны смешиваться. В противном случае одно изменение может повлиять на восприятие второго.
Потренируемся определять, в каких случаях можно проводить параллельные A/B-тесты, а в каких — нет.
Задание
Перед вами решения по улучшению сайта онлайн-лектория. Выберите из списка те решения, которые можно тестировать параллельно.
Изменения, которые предлагается тестировать параллельно, находятся внутри одного варианта ответа.
Параллельные тесты можно настроить на стороне фронтенда, разметив события разными тегами для разных версий интерфейса. А можно воспользоваться специальными инструментами, которые упрощают этот процесс, например Google Optimize.
Кому нужно разбираться в A/B-тестировании?
На базовом уровне нужно разбираться всем, кто участвует в работе над продуктом. Это поможет выбирать оптимальные методы исследования под разные задачи и на разных этапах работы.
Более глубокие знания об A/B-тестах нужны продакт-менеджеру, маркетологу и аналитику.
Аналитик участвует в настройке теста: формирует требования для запуска, определяет метрики, проверяет корректность работы, а после окончания анализирует результаты.
Продакты и маркетологи должны понимать, что они могут протестировать, как провести эксперимент и проанализировать его результаты.
Маркетологи используют A/B-тестирование, чтобы привлекать больше людей и лучше конвертировать их в покупку. Чаще всего, они проводят эксперименты при работе с email-рассылками, push-уведомлениями, лендингами и рекламными креативами.
Продакт-менеджеры, в основном, используют A/B-тестирование для улучшения метрик продукта. Например, они могут сравнивать две версии онбординга, разные варианты фичей продукта и их удобство для пользователей.
В случае работы над продуктом оптимальный вариант — командная работа на всех этапах, в том числе и во время тестирования идей.
Рассмотрим, как это выглядит на практике. Продакт-менеджер провел опрос пользователей онлайн-лектория. Он выяснил, что лекции на английском тяжело воспринимаются на слух из-за специальных терминов. Команда собралась на брейншторм, во время которого появилась идея добавить к видеолекциям субтитры.
После этого дизайнер нарисовал две версии кнопки для субтитров. Аналитик подготовил параметры сбора метрик для A/B-теста и техзадание для разработчика. Разработчик написал код для интерфейса. Аналитик настроил систему тестирования, запустил тест, проверил качество данных, оценил статистическую значимость изменений в метриках и сделал отчет. Отчет обсудили на собрании команды, и на базе результатов теста вместе приняли решение, какую кнопку добавить на сайт.
Что делать, если в команде нет аналитика?
Подготовить и провести A/B-тест можно и без аналитика.
Встроенные функции для A/B-тестирования есть у сервисов для настройки рекламных кампаний, инструментов для email-рассылок и push-сообщений, а также у некоторых конструкторов сайтов, например, Wix.
Для настройки A/B-теста можно также воспользоваться специальными инструментами:
Google Optimize. У инструмента интуитивно понятный интерфейс. Можно рассчитать основные метрики, а по итогу A/B-теста выгрузить данные в Google Analytics для анализа результатов.
VWO. Этот инструмент поддерживает мультивариантное тестирование и раздельное тестирование URL-адресов. Можно создавать визуал версий без изменения кода через встроенный редактор.
Unbounce. Инструмент подойдет для базового A/B-тестирования. Есть визуальный конструктор и визуальный редактор.
Optimizely. Инструмент поддерживает многостраничные тесты. Тоже есть визуальный редактор, чтобы создавать версии без изменения кода, доступна оптимизация для мобильных приложений.
Рекомендуем прочитать другие статьи из этой серии:
10 стыдных вопросов о продвижении в Google Play и App Store
10 стыдных вопросов о юнит-экономике
10 стыдных вопросов о no-code
10 стыдных вопросов о SEO
10 стыдных вопросов о платном трафике
Когда не стоит использовать A/B-тестирование?
A/B-тестирование не стоит использовать в нескольких случаях.
Разберем подробнее.
Продукт на старте, и у него мало трафика. В такой ситуации вы рискуете не получить результаты в нужный срок. Когда, к примеру, тестируется посадочная страница с услугами стартапа или запускается новый продукт, еще нет большого трафика. Придется долго ждать, чтобы получить статистически значимый результат эксперимента. За это время тестируемая гипотеза может потерять актуальность.
Рассчитать, насколько оправдано проводить A/B-тест для продукта, помогут специальные калькуляторы. Определить размер выборки можно калькулятором Эвана Миллера, а длительность теста — калькулятором VWO.
Продукт для B2B, B2G или премиум-сегмента. У этих сфер высокая ценность каждого клиента. При A/B-тесте часть аудитории может увидеть «сырой» вариант решения и отказаться от сотрудничества. Такое может случится, если показать пользователям неудобный интерфейс или непонятные тарифы.
На рынке B2B и B2G-продуктов есть вероятность, что клиенты общаются между собой. Часть аудитории может узнать о том, что «избранным» предлагают особые условия, которые им не доступны.
Рассмотрим на примере. Сервис по размещению объявлений в сфере недвижимости тестирует новую модель оплаты. Корпоративные клиенты сервиса — застройщики и риелторские агентства, и часть из них увидели новые тарифы во время A/B-теста. Многие представители рынка общаются между собой. Вскоре недоумевающие пользователи звонят в отдел по работе с корпоративными клиентами, чтобы узнать о новых тарифах и почему они не видят их на сайте. Такая ситуация может снизить доверие клиентов к продукту, а еще исказить результаты самого теста .
В вакансиях пишут, что нужен навык A/B-тестирования. Как его получить, если я еще не работаю с продуктом?
Попробовать освоить самостоятельно.
Если навык нужен для вакансии начинающего специалиста, скорее всего, вас не будут оценивать по количеству проведенных A/B-тестов. Работодателю важно, чтобы вы понимали принцип работы инструмента и знали, как его настроить. Так ему не придется учить вас с нуля.
Потренироваться на Pet Project. Можно запустить собственный проект — личный блог или трекер привычек — и провести A/B-тест какой-нибудь фичи. Это хороший способ потренироваться настраивать тестирование.
Если у вас нет опыта в запуске собственного проекта, рекомендуем прочитать нашу статью на эту тему. В ней мы на реальном примере разобрали, как сделать свой Pet Project, и дали подробный гайд.
Ограничения способа: Проанализировать результаты, скорее всего, не получится. На старте у вас будет мало трафика, а значит небольшая выборка для эксперимента.
Поработать на фрилансе. Пополнить портфолио реальными кейсами можно, если найти небольшие заказы на бирже.
Ограничения способа: Заказчикам важен не только сам результат, но и доверие к этому результату. Поэтому нужно постараться, чтобы найти заказ, который отдадут новичку без опыта. Для этого первое время придется ставить цену на свои услуги ниже рыночной. Ее можно будет повысить, когда наберетесь достаточно опыта, получите отзывы и положительный рейтинг на биржах.
Обратиться к специалистам с предложением помощи. Можно найти специалиста по A/B-тестированию в своем окружении или за его пределами и попросить его передать вам часть задач.
Ограничения способа: Далеко не все откликнутся на ваше предложение, а те, кто откликнутся, скорее всего, предложат символическую оплату ваших услуг или не заплатят вообще. Не расстраивайтесь и помните, что ваша цель — получить опыт, а не заработать.
Пройти курсы. Необязательно искать курс только по A/B-тестам. Можно пройти более объемную тему и разобраться сразу в нескольких смежных вопросах.
Ограничения способа: Теорию можно освоить и самостоятельно, поэтому выбирайте курсы, где обучение построено на кейсах.
Если вы хотите поменять профессию, читайте нашу статью о том, как попасть на собеседование без опыта. В ней вы найдете еще больше способов получить навыки в новой сфере.
Как правило, навык A/B-тестирования редко встречается в вакансиях для начинающих специалистов. Если же вас привлекла именно такая — не теряйтесь. Попробуйте один из предложенных нами вариантов действий.
Допустим, я хочу провести A/B-тестирование. Что нужно делать?
Мы разбили процесс A/B-тестирования от планирования до анализа результатов на восемь шагов.
Рассмотрим подробнее каждый шаг.
Шаг 1. Сформулировать гипотезы
Гипотеза поможет определить цели эксперимента, выбрать метрики и интерпретировать результаты.
В другой статье мы подробно рассказывали, как сформулировать data-driven гипотезу за 5 шагов. В этой — предлагаем шаблон, который подойдет для A/B-тестирования:
Рассмотрим шаблон на примере. Представьте, что вы работаете над интерфейсом для онлайн-магазина. Есть идея — разместить виджет подписки на рассылку в поп-ап, который всплывает сразу, как только пользователь заходит на сайт. В текст виджета планируется добавить информацию о скидке 10% за подписку. Сейчас эта информация и виджет для подписки размещены внизу страницы.
Гипотезу можно сформулировать через фреймворк:
ЕСЛИ поп-ап подписки с информацией о скидке будет появляться сразу, как только пользователь зайдет на сайт,
ТО пользователи будут чаще подписываться и сразу оформлять заказ,
ПОТОМУ ЧТО сообщение о скидке подтолкнет их не только к подписке на рассылку, но и к покупке.
В последней части гипотезы могут быть догадки — это нормально. Эксперимент проводится, чтобы их подтвердить или опровергнуть.
Гипотез может быть так много, что проверить их одним тестом не получится. Поэтому рекомендуем прочитать нашу статью о том, как приоритизировать гипотезы продуктового исследования.
Шаг 2. Определить метрики
Метрика A/B-теста — показатель, по которому оценивается, подтвердилась гипотеза или нет. В примере, на котором выше мы сформулировали гипотезу, метриками для ее проверки будут показатели конверсии в целевые действия — подписка и оформление заказа.
Потренируемся определять метрики эксперимента.
Задание
Вы работаете над фичей — кнопкой перехода в каталог товаров. Нужно сделать ее заметнее для пользователей, чтобы привлечь их внимание к каталогу. Есть два варианта решения — текстовый формат кнопки и анимированный. Какие метрики вы выберете, чтобы выяснить, какой вариант лучше?
Читайте лучшие статьи о запуске и росте продуктов
Раз в неделю будем отправлять свежий дайджест вам на почту. Наc читает 25000 человек 🚀
Важно учесть все метрики, на которые может повлиять эксперимент. Иначе есть риск выбрать вариант, который улучшит одну метрику, но при этом ухудшит продукт в целом.
Шаг 3. Утвердить критерии успеха и действия по итогам теста
Критерий успеха — это ожидаемый результат, по которому можно принять решение об успешности теста.
Например, конверсия в подписку равна 10%. Вы добавляете поп-ап с информацией о промокоде на скидку за подписку и ожидаете, что конверсия вырастет до 11%. 11% — это и есть критерий успеха.
Если конверсия в подписку у версии с поп-апом действительно вырастет, значит гипотеза подтвердилась — эксперимент удался, изменение можно вводить.
Если метрики ухудшились — значит надо проработать другие решения.
Если метрики остались на прежнем уровне или изменения статистически не значимые — здесь могут быть разные варианты дальнейших действий, такие как:
- изменить условия теста
- выбрать другую фичу
- протестировать на другом сегменте аудитории
План действия относительно разных итоговых результатов определяется на этапе подготовки эксперимента. Иначе после могут возникнуть такие вопросы: «И что делать дальше? Для чего вообще мы проводили A/B-тест?»
Шаг 4. Отдать коллегам на кросс-ревью
Кросс-ревью стоит проводить при подготовке крупных и важных экспериментов. Коллеги помогут оценить все спорные моменты. Они проверят, как сформулирована гипотеза, учтены ли все метрики, на которые может повлиять эксперимент, и насколько верны решения, которые планируется принимать по результатам.
Организовать процесс кросс-ревью поможет шаблон для подготовки эксперимента, который опубликован в нашем телеграм-канале. В шаблоне систематизирована информация, которая нужна для настройки A/B-теста и анализа результатов.
Шаг 5. Подготовить эксперимент
На этом этапе создается версия с тестируемыми изменениями и определяются следующие параметры:
Контрольная и экспериментальная выборка — пользователи, которые будут участвовать в эксперименте. Проверять можно как на всех пользователях, так и на группах, которые объединены по определенному показателю: местоположение, пол, возраст и так далее.
Минимальный размер выборки — минимальное количество пользователей, которые должны увидеть тестируемые версии, чтобы результаты были статистически значимы. Этот показатель можно рассчитать специальными калькуляторами, например, калькулятором Эвана Миллера.
Показатель статистической значимости — разница между метриками контрольной и экспериментальной выборки, при которой маловероятно, что это случайный результат. Калькуляторы для расчета этого показателя обычно интегрированы в систему настройки тестов.
Длительность тестирования — количество дней, когда будет идти эксперимент. Показатель зависит от общего размера выборки и текущего трафика. Рассчитать длительность тестирования можно по формуле: выборка / трафик = количество дней.
Допустим, минимальный размер выборки для статистически значимых результатов теста — 10000 уникальных посетителей. У сайта в среднем 1000 посетителей в день. Значит длительность теста — 10 дней.
Шаг 6. Запустить эксперимент
Главное, что нужно сделать при запуске, — проверить, что A/B-тест идет корректно. Например, кнопка, которая тестируется, работает, а пользователи попадают в выборки случайным образом. Если сразу появилась большая разница в конверсии версий A и B или наоборот, разницы нет вообще — это сигнал, что что-то идет не так.
Если же тест работает правильно, то не пытайтесь анализировать результаты до его окончания или вносить изменения в настройки теста в процессе. В первый день победителем может оказаться один вариант, а на следующий день — другой. Нужно дождаться окончания теста, чтобы получить достоверные результаты.
Шаг 7. Проанализировать результаты и сделать выводы
Получив данные метрик, сравните их с критериями успеха, которые определили на этапе подготовки теста. Теперь можно сделать выводы о результатах эксперимента и обратиться к плану действий, который составлен до начала тестирования.
Шаг 8. Сделать отчет и поделиться им с коллегами
Делитесь с коллегами итогами A/B-теста — это поможет им в понимании поведения пользователей, даже если, на первый взгляд, гипотеза не имеет отношения к их задачам. Рассказать о результатах можно в виде презентации для команды.
Хранить отчеты имеет смысл так, чтобы все сотрудники вашей компании могли без труда их найти. Например, в Confluence или другой системе, где можно создать единую базу знаний компании. Это поможет сэкономить время и ресурсы команды и избежать повторных A/B-тестов.
Чем можно заменить А/В-тестирование?
Иногда проверить гипотезу проще другими методами. Разберем, что это за методы и в каких ситуациях ими можно заменить A/B-тест.
Юзабилити-тестирование. Этим методом проверяют, насколько интерфейс удобен для пользователей.
Для исследования не нужно привлекать разработчиков, как в случае с A/B-тестом. Нужно создать новый интерфейс на уровне макетов, собрать интерактивный прототип и пронаблюдать, как пользователи с ним взаимодействуют. Потом выявить возможные проблемы и найти решение. Как тестируют прототипы и анализируют результаты мы рассказывали в статье о UX.
Fake door тест. Когда разработать фичу — сложно и долго, этим методом можно проверить, нужна ли она пользователям.
Для этого в интерфейс добавляется кнопка, за которой ничего нет, — fake door — и отслеживается, какой процент пользователей ее нажмет. За fake door обычно размещают сообщение о том, что раздел в разработке. Можно также добавить ссылку на опрос и таким образом собрать дополнительные данные для будущего продукта.
Релиз нового продукта на ограниченную аудиторию. Если есть достаточно времени, то вместо теста можно запустить продукт на один город, район или другую выделенную часть пользователей.
Метод подходит, когда продукт локальный и требуется протестировать большие изменения бизнес-модели, или попробовать совершенно новый продукт. Например, беспилотное такси, которое тестирует Яндекс в одном из районов Москвы. Если результаты будут положительными, можно масштабировать продукт на всю остальную аудиторию.
Потренируемся подбирать метод проверки гипотезы под конкретную ситуацию.
Задание
Вы хотите увеличить количество заказов через сервис, который доставляет готовую еду из ресторанов. Один из вариантов, как это сделать, — добавить возможность заказывать продукты из магазинов в районе доставки. Как вы проверите, будет ли популярна новая услуга у пользователей?
Где я могу узнать про A/B-тесты подробнее?
Собрали подборку полезных ресурсов и публикаций по теме:
The Complete A/B Testing Kit — бесплатный гайд по A/B-тестированию, доступ к скачиванию откроется после регистрации.
How to Do A/B Testing: 15 Steps for the Perfect Split Test — развернутый чек-лист по тому, что нужно сделать до, во время и после A/B-теста.
А/б тестирование сайта или лендинга — пошаговый гайд по запуску эксперимента через Google Optimize от TILDA EDUCATION.
How to Increase Sales with A/B Testing (Includes Examples) — статья, в которой на кейсах показано, как с помощью A/B-тестирования увеличить продажи.
Как заработать миллиард — выступление Head of Product Marketing в Skyeng Дениса Пушкина, в котором он рассказывает, как выбирать продуктовые гипотезы, тестировать их и правильно считать результаты экспериментов.
Лучший эксперимент в истории Booking.com — пост в канале соавтора статьи, и этот эксперимент совсем не A/B тест.
Резюмируем
A/B-тесты дают возможность командам быстро тестировать множество гипотез и постоянно развивать онлайн-продукт. В реальной жизни нужно больше ресурсов, чтобы проверить, какое решение будет лучше для бизнеса.
Если вы работаете над цифровым продуктом с большой аудиторией, попробуйте A/B-тесты. Так можно узнать ценность изменений продукта на основе действий реальных пользователей.
