Все формулы РФ

Аналитика / A/B-тесты

Относительный uplift (относительный прирост)

Относительный uplift показывает, насколько тест улучшил конверсию относительно контроля в процентах.

Опубликовано: Обновлено:

АналитикаA/B-тесты

Формула

$$\text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\%$$
Диаграмма Сравнение относительных uplift-метрик

Две колонки показывают рост/падение относительно контроля.

Полезно для быстрого бизнес-объяснения результата эксперимента.

Обозначения

$\text{uplift}_{\%}$
относительный прирост конверсии в процентах, \%
$\hat p_A$
конверсия контрольной группы, доля
$\hat p_B$
конверсия тестовой группы, доля

Условия применения

  • Коэффициент считается только после проверки валидности сравнения между группами.
  • \hat p_A не должен быть нулём.
  • Группы должны быть сопоставимы по метрике и времени.

Ограничения

  • При очень малом \hat p_A значение может быть нестабильным и переоцененным.
  • Не заменяет значимость: высокий uplift может быть шумом.
  • Неточен для очень редких событий без проверки доверительных интервалов.

Подробное объяснение

Сначала считаем абсолютную разницу, затем нормируем ее на базу контроля. Если контрольная доля мала, процентный рост может выглядеть большим.

Как пользоваться формулой

  1. Сначала найдите \hat p_A и \hat p_B.
  2. Подставьте в формулу относительного прироста.
  3. Проверьте знак: плюс — улучшение, минус — ухудшение.
  4. Убедитесь, что разница статистически подтверждена.

Историческая справка

В продуктовой аналитике relative uplift закрепился как удобный способ перевода разницы долей в управленческий язык.

Пример

Если \hat p_A=2\%=0{,}02, \hat p_B=2{,}4\%=0{,}024, то uplift=\frac{0{,}024-0{,}02}{0{,}02}\cdot100\%=20\%.

Частая ошибка

Считать uplift как разницу долей, перепутав с относительным приростом.

Практика

Задачи с решением

Положительный uplift

Условие. \hat p_A = 0{,}04, \hat p_B = 0{,}045.

Решение. uplift = (0{,}045-0{,}04)/0{,}04\cdot100\% = 12{,}5\%.

Ответ. 12{,}5\%

Отрицательный uplift

Условие. \hat p_A = 0{,}10, \hat p_B = 0{,}089.

Решение. uplift = (0{,}089-0{,}10)/0{,}10\cdot100\% = -11\%.

Ответ. -11\%

Дополнительные источники

  • OpenIntro Statistics, главы по сравнению двух пропорций
  • NIST/SEMATECH e-Handbook of Statistical Methods, two-sample tests for proportions

Связанные формулы

Аналитика

Conversion rate (конверсия)

$\hat{p}=\frac{X}{n}$

Конверсия показывает долю пользователей, для которых событие (например, покупка или клик) произошло в группе.

Аналитика

Z-статистика для двух долей

$z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}$

Z-статистика показывает, насколько наблюдаемая разница конверсий удалена от нуля относительно дисперсии.