Все формулы РФ

Аналитика / A/B-тесты

Абсолютный uplift (разница конверсий)

Абсолютный uplift — это простая разница между конверсиями B и A.

Опубликовано: Обновлено:

АналитикаA/B-тесты

Формула

$$\Delta = \hat p_B-\hat p_A$$
Схема Разница конверсий в процентных пунктах

Колонки A и B показывают абсолютную разницу в долях в одной единице масштаба.

Проще всего объяснять бизнесу: «+0,4 п.п.» или «-0,2 п.п.».

Обозначения

$\Delta$
разница конверсий между группами, доля
$\hat p_B$
конверсия тестовой группы, доля
$\hat p_A$
конверсия контрольной группы, доля

Условия применения

  • Исключите пересечение участников между группами (чтобы наблюдения не дублировались).
  • Обе доли вычисляются по одной и той же метрике и периоду.
  • Лучше оценивать вместе с доверительным интервалом.

Ограничения

  • Не показывает относительный масштаб эффекта для сравнения с прошлым периодом.
  • При очень малых долях чувствителен к дисперсии.
  • Для разных бизнес-юнитов без нормализации может вводить в заблуждение.

Подробное объяснение

Разница показывает, на сколько процентных пунктов изменилась конверсия. Это прямое, интуитивное измерение эффекта.

Как пользоваться формулой

  1. Рассчитайте \hat p_A и \hat p_B.
  2. Вычтите базовую конверсию из тестовой.
  3. Если \Delta > 0, B лучше A по метрике; если <0, хуже.

Историческая справка

В теории вероятностей это разность двух эмпирических вероятностей.

Пример

Если \hat p_B=0{,}024, а \hat p_A=0{,}020, тогда \Delta = 0{,}004, то есть +0{,}4 п.п.

Частая ошибка

Ставить знак минус не по сути (например, перепутать порядок A и B) и получать обратный вывод.

Практика

Задачи с решением

Положительная разница

Условие. \hat p_A = 0{,}03, \hat p_B = 0{,}035.

Решение. \Delta = 0{,}035-0{,}03 = 0{,}005.

Ответ. \Delta = 0{,}005 = 0{,}5\text{ п.п.}

Отрицательная разница

Условие. \hat p_A = 0{,}022, \hat p_B = 0{,}020.

Решение. \Delta = 0{,}020-0{,}022=-0{,}002.

Ответ. \Delta = -0{,}002 = -0{,}2\text{ п.п.}

Дополнительные источники

  • OpenIntro Statistics, раздел по двум пропорциям
  • NIST/SEMATECH e-Handbook of Statistical Methods, inference for proportions

Связанные формулы

Аналитика

Conversion rate (конверсия)

$\hat{p}=\frac{X}{n}$

Конверсия показывает долю пользователей, для которых событие (например, покупка или клик) произошло в группе.

Аналитика

Стандартная ошибка доли

$SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}$

SE конверсии показывает, насколько оценка доли может «плавать» из-за случайного разброса выборки.