Аналитика / A/B-тесты

Conversion rate (конверсия)

Конверсия показывает долю пользователей, для которых событие (например, покупка или клик) произошло в группе.

Опубликовано: Обновлено:

Формула

$$\hat{p}=\frac{X}{n}$$
Диаграмма Доли конверсий в двух группах

Графически показывается, какая часть пользователей перешла в состояние «успех» в каждой группе.

Доли легко сравнивать как проценты, чтобы увидеть разницу в исходной эффективности.

Обозначения

$\hat{p}$
оценка конверсии (доля успехов в группе), безразмерная доля
$X$
число успехов/конвертаций в группе, шт.
$n$
размер выборки (пользователей) в группе, шт.

Условия применения

  • Событие в группе должно быть бинарным: успех/неуспех.
  • Все наблюдения в группе считаются независимыми по пользователю.
  • Размер выборки должен быть целым и положительным.

Ограничения

  • Может сильно колебаться при малых выборках.
  • Не отражает размер эффекта в абсолютном выражении (например, в процентах трафика или выручке).
  • Не подменяет проверки статистической значимости: конверсии нужно сравнивать между группами.

Подробное объяснение

Доля успехов считается как отношение числа успешных событий к количеству единиц наблюдений. Значение всегда от 0 до 1, поэтому удобно сразу переводить в проценты, если нужно для отчета.

Как пользоваться формулой

  1. Посчитать число успехов в группе A и в группе B.
  2. Разделить каждый из них на размер соответствующей группы.
  3. Получить доли \hat{p}_A и \hat{p}_B для дальнейшего сравнения.

Историческая справка

Конверсия — стандартная метрика цифровой аналитики и продуктовой экспериментации.

Пример

В группе A 120 пользователей совершили 6 покупок из 300 посещений. Конверсия: \hat{p}=6/300=0{,}02=2\%.

Частая ошибка

Частая ошибка — смешивать число сессий и число уникальных пользователей; это нарушает интерпретацию доли.

Практика

Задачи с решением

Базовая конверсия

Условие. Вариант A: X_A = 18, n_A = 600. Найдите конверсию.

Решение. \hat{p}_A = 18/600 = 0{,}03 = 3\%.

Ответ. \hat{p}_A = 3\%

Конверсия с малой долей

Условие. Вариант B: X_B = 2, n_B = 80.

Решение. \hat{p}_B = 2/80 = 0{,}025 = 2{,}5\%.

Ответ. \hat{p}_B = 2{,}5\%

Дополнительные источники

  • OpenIntro Statistics, главы по сравнению двух пропорций
  • NIST/SEMATECH e-Handbook of Statistical Methods, proportion estimation

Связанные формулы

Аналитика

Стандартная ошибка доли

$SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}$

SE конверсии показывает, насколько оценка доли может «плавать» из-за случайного разброса выборки.

Аналитика

Z-статистика для двух долей

$z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}$

Z-статистика показывает, насколько наблюдаемая разница конверсий удалена от нуля относительно дисперсии.