Как A/B тестить, когда трафика мало? 🅰️🅱️
Допустим, с сайта/ приложения идут не миллионы пользователей и показов, а всего пара тысяч MAU, но АБтестировать фичи все равно надо. Разберем несколько лайфхаков
- Долгие тесты - плохая идея. Пока будем ждать стат. значимости, пройдет полгода, РК и трафик уже успеют поменяться
- Делаем больший упор на инсайты от рекламодателой. Вместо слепого следования CPM/ CPV, participation rate, media cost, опрашиваем рекламодателей. Они очень чутко реагируют на смену KPI, и по увеличенным/ уменьшенным бюджетам, сегментам пользователей можно косвенно определить, работает фича или нет
- Bayesian > Frequentist. Байесовская статистика быстрее дает результаты на малых выборках
- Не ленимся сегментировать пользователей. Иногда важнее сузить скоуп фичи и тестить внутри конкретных групп (например, только платящие, или только определенное гео, или только мобилки), чем пытаться разогнать общий трафик
В конечном итоге при низком трафике больше исследуем вторичные сигналы и делаем упор на сбор обратной связи извне платформы
Пример для случая InApp трафика разобран у RevenueCat
>>Click here to continue<<
