Конкуренция на рынке мобильных приложений острее, чем когда-либо. Для выживания нужно понимать, как продвигать свои приложения и на что нацеливать маркетинговые компании. Даже мелкая, на первый взгляд, перемена в том, как пользователь взаимодействует с вашим мобильным приложением, может сильно повлиять на процент конверсий. Раз так, значит, нужно запускать тесты и проверять гипотезы. А это точно так!
Достаточно вспомнить опыт компания WallMonkeys. Это один из флагманов E-commerce. Не так давно здесь изучили собственный опыт применения A/B тестов (сплит-тестирования) и пришли к выводу: применение только этого метода из арсенала интернет-маркетинга привело в росту количества конверсий на 550%.. A/B тесты помогают понять, как именно нужно изменить свои маркетинговые кампании, чтобы они давали нужный результат.
В этом гайде мы расскажем обо всем, что нужно знать про A/B тестирование в мобайле. В том числе остановимся на лучших практиках в этой сфере.
Что такое мобильное A/B тестирование?
A/B тестирование представляет собой пробный запуск нескольких вариантов изменений в работе мобильного приложения. Измеримый результат при этом помогает проверять гипотезы и выбрать тот вариант изменений в приложении, который докажет свою эффективность. С помощью A/B тестов можно проверить, например, воздействие на аудиторию по-разному написанных статей, нацеленных на одно и то же. Тем же путем проверяются любые виды креативов, которые используются в маркетинге и разработке.
Реакцию пользователей можно изучить еще более пристально, если поделить их на группы и отслеживать, как каждая из них реагирует на предложенные варианты реализации какого-либо интерфейса.
Пример A/B тестирования под мобильные устройства
Предположим, вы разработали мобильную игру и хотите увеличить количество скачиваний и установок. Как часть стратегии привлечения пользователей (UA – user acquisition), вы нацелились на сегмент аудитории 18-24, пол: мужской, проживание: США. Есть несколько вариантов видеорекламы. Вместо того, чтобы выбрасывать деньги на ветер, вы захотите сначала показать каждый ролик маленькой группе потенциальных игроков, чтобы сделать основную ставку на вызвавший наибольший отклик видеоряд. Еще более продвинутый подход – A/B тесты. Они могут, например, показать следующее: видео B, в котором текст крупнее по шрифту, чем в видео A, обладает на 20% большей конверсией. Вывод напрашивается сам собой: лучше запускать на более широкую аудиторию видео с шрифтом покрупнее.
Каковы преимущества A/B тестирования?
A/B тесты для продвижения мобильных приложений исторически всегда рассматривались, как сложная задача. Виной тому технические проблемы, возникающие с таким тестированием именно в случае мобильных устройств, а также необходимость сначала проделать все под Android, а затем, то же самое – под iOS. Несмотря на это сплит-тесты активно практикуются, так как их результаты имеют критическое значение для маркетинга. Выводы на основе A/B тестов ложатся в основу рекомендаций маркетологов по получению потребительского опыта при использовании того или иного приложения. В результате команда разработчиков, более успешно применяющая такую аналитику – лучше вовлекает свою аудиторию и проводит результативные компании. A/B тестирование позволяет разработчикам и маркетологам:
-
повысить эффективность интерактивных элементов приложения, с помощью которых пользователи с ним взаимодействуют. Лучше вовлекать целевую аудиторию с их помощью;
-
изучить, что работает с разными сегментами пользователей;
-
изучить реакцию на новый функционал;
-
усовершенствовать ключевые показатели деятельности (KPI).
Со сплит-тестами из практики уйдет не подкрепленное фактами гадание. Интернет- и мобильные маркетологии основываются на выводах, построенных на фактах. Перспектива подобного улучшения работы перекрывает любые доводы «против». Чем быстрее руководство внедрит этот полезнейший инструмент, тем быстрее можно будет убедиться в том, что приложение работает с максимальной эффективностью.
Пример результативности A/B тестов
Польский игрок рынка e-commerce, компания Grene, запустила сплит-тестирование своей странички с мини-корзинами (mini-cart). Цель была выяснить: какие визуальные составляющие страницы должны быть более подчеркнутыми, а какие лучше оставить на втором плане. Использование результатов привело к:
-
к росту количества посетителей страницы с мини-корзинами;
-
общий рост конверсии в электронных продажах компании с 1.83% до 1.96%;
-
двухкратный рост количество покупок в сервисах Grene.
Различные типы A/B тестов для анализа приложений под мобильные устройства
Есть два типа сплит-тестов, которые могут применять в своей работе маркетологи мобильных приложений и разработчики. Оба основаны на одних и тех же принципах, а именно: сравнение результатов применения одной и той же функциональности на разных сегментах вашей аудитории. Разница в том, к какому объекту они применены:
A/B тесты приложений: разработчики проверяют, как изменения в UX и UI меняет метрики продолжительности сессий пользователей, вовлеченности, коэффициент удержания, липкость (stickiness), индикатор пожизненной ценности клиента (LTV). Также существуют специальные метрики, с помощью которых разработчики измеряют влияние на аудиторию в зависимости от того, какой именно элемент пользовательского интерфейса был изменен;
A/B тестирование в маркетинговых кампаниях: такое тестирование призвано максимизировать результативность целых маркетинговых компаний, а не кнопок и слайдеров. Они проверяют: какой рекламный креатив сработал, по какому рекламному каналу, какой канал общения с большей вероятности заставляет пользователя вернуться и сделать заказ. Сплит-тестирование для маркетинговых кампаний повышает конверсию, увеличивает количество скачиваний и установок приложений и успешно перенаправляет клиентов.
Как правильно выполнять A/B тестирование?
Такое тестирование – циклический процесс с которым вы постоянно улучшаете свое приложение и рекламные компании для его развития. Перед тем, как водружать на щит данную методику, спросите себя:
-
Что я хочу протестировать?
-
Кто моя целевая аудитория?
-
Каким должен быть результат тестирования?
-
Что вы будете делать дальше, когда ваша гипотеза подтвердится или будет опровергнута?
Если на эти основополагающие вопросы есть ответы, то можно проследовать далее по нашему небольшому чек-листу:
-
Создайте гипотезу и определите варианты. Выработка гипотезы позволит получить от тестов максимальный инсайт. Поскольку с помощью нее мы лучше понимаем, что получим на выходе из внедрения тестов. Если сложно понять сразу, что именно нужно проверить, то начните с идентификации проблем приложения или маркетинговой компании, нуждающиеся в решении. Например, ваша гипотеза может звучать так: если на продающей странице будет меньше товаров сразу после открытия приложения, то длительность сессий пользователей возрастет. Если мы заранее вывели такое предположение, то конкретный вариант или переменная, проверяемая сплит-тестом напрашивается сама собой: количество товаров на индексной странице.
-
Сегментируйте свою аудиторию. С вариантами для проверки и гипотезой у вас есть все, чтобы начать внедрять A/B тест. Используйте специализированные платформы для проектирования и имплементации таких тестов. Они позволяют автоматически формировать фокус-группы, которым будут показывать различные варианты, проверяющие гипотезу. Помните о статистике: нужна репрезентативная выборка, даже если пробные варианты запускаются платно.
-
Анализируйте результаты. Когда вы получили результаты, документируйте их. Отслеживайте все метрики поведения пользователей, которые вообще могут быть затронуты тестом. Предположим, вы заметили, что благодаря неким изменениям у вас возросла конверсия, не стоит игнорировать другие метрики. Там может храниться информация о неожиданных последствиях изменений.
-
Внедряйте улучшения. Если вы обнаружили с помощью тестов вариант, который приводит к лучшей динамике в мобильном приложении, чем до этого, можно использовать его для воздействия на более широкую аудиторию. Даже если что-то пошло не так, результаты все равно могут быть полезны, поскольку помогут скорректировать исходную гипотезу в основе A/B теста.
-
Обновляйте гипотезы. Сплит-тесты – системная работа. Обновляйте гипотезы со временем, по мере новых тестов и получения более детализированной информации. Это позволит увеличивать конверсию все больше и больше, обнаруживая новые уровни проблем и возможностей.
Пять лучших практик A/B тестирования
-
Определите, что именно вы хотите проверить. Это может казаться очевидным, но важно его подчеркнуть, так как он исключит пустую трату времени и денег. Никогда не начинайте тестировать до выработки ясной гипотезы.
-
Будьте открыты к неожиданностям. Поведение пользователей является сложным, вот почему A/B тесты иногда могут преподнести сюрпризы. Вы не сможете использовать неожиданные открытия если не заметите их.
-
Не бросайте тест, даже если вы убедились в ложности гипотезы или не верите, что будет нужный результат. Проследовать по всему пути очень важно, чтобы получить более полную информацию.
-
Не вводите в A/B тест ничего нового «по ходу дела», это только запутает и затуманит результат.
-
Обязательно учитывайте сезонность, поскольку те результаты, которые вы получите в A/B тесте летом, могут совсем не повториться зимой. Тот креатив, который не сработал в летний период, может зимой отработать «на ура».
-
Изучайте рынок не только на анализе кейсов, но и на собственных A/B тестах. Кейсы не дают представления о реальности вашего мобильного приложения. Обобщения, сделанные одной компанией, даже если она заметна на рынке, могут совсем не соответствовать вашим реалиям.
А что думаете вы о применении практики A/B тестирования в продвижении мобильных приложений. Поделитесь, пожалуйста, в комментариях!