Experiment inconclusive: Две бесплатные практики по грамматике перед пейволом

Belief at the time

Если дать пользователям веб-версии без Premium пройти две практики по грамматике вместо одной до показа пейвола, они лучше почувствуют ценность продукта, а конверсия в Premium в течение 7 дней вырастет.

Why it matters

Success metric: Конверсия пользователей веб-версии без Premium в покупку Premium в течение 7 дней

Lesson

За период 21–29 июля увеличение бесплатного лимита с одной до двух практик не дало ожидаемого роста новых триалов: получено 5 новых триалов, на 44,4% меньше предыдущего периода. Активных триалов — 5 (−16,7%). При этом конверсия триалов в оплату выросла до 70,6% (+20%), а число сконвертированных триалов — до 4 (+33,3%). Однако абсолютная выборка слишком мала, а часть конверсий могла относиться к пользователям, начавшим триал до эксперимента, поэтому причинный эффект изменения подтвердить нельзя. Гипотеза на текущих данных не подтверждена. Возвращаем показ пейвола после первой практики. Следующий тест стоит провести с параллельной контрольной группой и отслеживанием всей воронки: первая практика → вторая практика → показ пейвола → начало триала → оплата.