Для измерения «успеха» приложения, его состоятельности и прибыльности как бизнеса, достаточно отслеживать два показателя: Customer Lifetime Value (CLTV) и Customer Acquisition Cost (CAC). CLTV – пожизненная ценность клиента, фактически, это прибыль которую приносит пользователь за все время использования приложения. CAC – это стоимость привлечения пользователя. Разница этих двух показателей определяет чистый доход проекта. Для успешного и прибыльного продукта CLVT всегда должен быть выше, чем CAC. В другом случае проект считается не прибыльным, так как на привлечение пользователя тратится больше средств, чем он приносит. Эти два показателя зависят от множества переменных, контролируя которые удается контролировать доход проекта и приумножать его. Для того, что бы увеличивать разницу между CLVT и CAC необходимо постоянно улучшать приложения, вносить изменения и экспериментировать. Влияние изменений в приложении на пользователей и их поведение не предсказуемо. Кому-то могут понравится эти изменения, а кто-то удалит приложение. Количество конверсий может не измениться, увеличится или наоборот уменьшиться. Для тестирования новых функций и изменений применяют так называемое А/Б тестирование.

А/Б тестирование – это маркетинговый инструмент, который позволяет определить как изменения в приложении влияют на пользователей и на ключевые показатели (например, доход). Тестирование помогает доказать или опровергнуть определенные гипотезы, например, «после изменения цвета кнопки с синего на красный количество конверсий увеличится в два раза». 

Для проведения А/Б тестирований разрабатывается несколько вариантов элементов или даже целых разделов приложения, которые могут концептуально отличаться, определяется количество пользователей, которые участвуют в эксперименте (например, 50% от всех пользователей) и между этими пользователями распределяется трафик (в равных частях).

Дополнительно, с помощью А/Б тестирования, внедряются новые функции для пользователей. Инструмент позволяет опробовать нововведения на небольшом количестве пользователей: оценить их эффективность, исправить первые ошибки и замечания, а потом уже внедрять их для всех.

Мы рекомендуем использовать для А/Б тестирования Firebase. Он самостоятельно определяет какой из вариантов лучше всего себя проявил, в нем доступна полная аналитика по основным показателям и само создание эксперимента является простым и удобным. Обязательным условием для создания A/Б тестов в Firebase является подключенный Remote Config или Cloud Massaging. С помощью Remote Config задаются параметры, которые необходимо изменять для эксперимента, а с помощью Cloud Massaging можно протестировать как влияют на результаты формулировки и текст в push-уведомлениях. В Firebase можно гибко настраивать целевую группу пользователей для теста: выбирать версию приложения или страну, выбирать аудитории Analytics или автоматически созданные аудитории с помощью Прогнозов и многое другое.

 

Основные возможности А/Б тестирования Firebase:

1. Проведение тестирований и экспериментов.

2. Поэтапное внедрение новых функций приложения.

3. Тестирование push-уведомлений.

4. Выбор аудитории пользователей для которых будет проводится эксперимент.

5. Отслеживание результатов и аналитика по тесту.