Все формулы РФ

Аналитика / A/B-тесты

Доверительный интервал разницы конверсий

Интервал показывает диапазон значимых значений разницы между группами на заданном уровне надежности.

Опубликовано: Обновлено:

АналитикаA/B-тесты

Формула

$$(\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}$$
Диаграмма Интервал разницы конверсий

Линия от нижней до верхней границы с отмеченной 0 и фактической точкой \Delta.

Наглядно видно, пересекает ли ноль нулевую гипотезу.

Обозначения

$\hat p_A, \hat p_B$
оценки конверсии в группах A и B, доля
$SE_{\Delta}$
SE разности двух долей, доля
$z_{1-\alpha/2}$
критическое значение нормального распределения для уровня \alpha, безразмерная
$\alpha$
уровень ошибки первого рода, доля

Условия применения

  • Используйте нормальное приближение.
  • Две группы определены без пересечений.
  • Для 95% обычно берут α=0,05 и z_{0.975}=1.96.

Ограничения

  • Для малых n может требоваться точный или бутстрэп-метод.
  • Интервал может быть очень широким на редких событиях.
  • Интервал описывает неопределенность оценки, а не индивидуальный результат пользователя.

Подробное объяснение

Расширяет точечный эффект на диапазон правдоподобных значений, учитывая разброс в выборках. Это основной элемент доверительного вывода в A/B.

Как пользоваться формулой

  1. Посчитайте \Delta и SE_{\Delta}.
  2. Выберите уровень надежности (например, 95%).
  3. Умножьте SE на соответствующий z.
  4. Постройте левую и правую границы.

Историческая справка

Концепция доверительных интервалов для пропорций — краеугольная идея классической статистической инференции.

Пример

Если \Delta=0,004, SE=0,0015 и 95%: z=1,96, тогда CI=(0,004-1,96·0,0015;\,0,004+1,96·0,0015)=(0,00106;0,00694).

Частая ошибка

Включать ноль в интервал и считать эффект полезным из бизнес-описания без статистической проверки.

Практика

Задачи с решением

Доверительный интервал

Условие. \Delta=0{,}004, SE=0{,}002, 90%-уровень (z=1{,}64).

Решение. CI=(0{,}004\pm1{,}64\cdot0{,}002)=(0{,}00072;0{,}00728).

Ответ. (0{,}00072;\,0{,}00728)

Интервал со знакомым значением

Условие. \Delta=-0{,}0015, SE=0{,}001, 95% (z=1{,}96).

Решение. CI=(-0{,}0015\pm1{,}96\cdot0{,}001)=(-0{,}00346;0{,}00046).

Ответ. (-0{,}00346;\,0{,}00046)

Дополнительные источники

  • OpenIntro Statistics, confidence intervals for proportions
  • NIST/SEMATECH e-Handbook of Statistical Methods, difference of proportions

Связанные формулы

Аналитика

Z-статистика для двух долей

$z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}$

Z-статистика показывает, насколько наблюдаемая разница конверсий удалена от нуля относительно дисперсии.

Аналитика

Мощность теста (power) для разности долей — концепт

$\text{Power} \approx 1-\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right),\;\beta\approx\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right)$

Power отвечает на вопрос: с какой вероятностью тест обнаружит реальный эффект \Delta при заданном дизайне.