Все формулы РФ

Аналитика / A/B-тесты

MDE (минимально детектируемый эффект)

MDE показывает минимальную разницу конверсий, которую тест сможет обнаружить с заданным α и power.

Опубликовано: Обновлено:

АналитикаA/B-тестыРазмер выборки для долей и средних

Формула

$$MDE = (z_{1-\alpha/2}+z_{1-\beta})\sqrt{\frac{\hat p_A(1-\hat p_A)}{n_A}+\frac{\hat p_B(1-\hat p_B)}{n_B}}$$
График Связь между размером выборки и MDE

Экспоненциальное снижение порога детектируемого эффекта при росте n.

Чем больше трафик, тем меньше эффект можно надежно зафиксировать.

Обозначения

$MDE$
минимальный детектируемый эффект (разница долей), доля
$z_{1-\alpha/2}$
критический порог по значимости, безразмерное
$z_{1-\beta}$
критический порог по мощности, безразмерное
$n_A,n_B$
размеры групп A и B, шт.

Условия применения

  • Используется с выбранными уровнями α и power.
  • Предполагается аппроксимация нормального распределения.
  • Для планирования n и оценивания MDE желательно фиксировать ориентир baseline p.

Ограничения

  • Ориентировочная формула: для сложных метрик результат корректируется.
  • Не заменяет модельный расчет с коварными факторами и сезонностью.
  • Сильно влияет на исходные p_A, p_B.

Подробное объяснение

MDE — это тот порог, ниже которого реальный эффект почти наверняка останется незаметным при текущем дизайне теста и выбранных статистических параметрах.

Как пользоваться формулой

  1. Задайте требуемый α и power.
  2. Выберите ожидаемые базовые доли и размеры групп.
  3. Подставьте в формулу и получите пороговый эффект.
  4. Сравните его с целевым бизнес-изменением.
  5. Если MDE слишком велик, увеличьте n.

Историческая справка

MDE часто используется как KPI-ориентированный параметр планирования в экспериментах цифровых продуктов.

Пример

При n_A=n_B=5000, z_{0.975}=1,96, z_{0.8}=0,84 и p_A=p_B=0,02: MDE\approx2,8·\sqrt{0{,}02\cdot0{,}98/5000·2}=0{,}0039 (0,39 п.п.).

Частая ошибка

Писать MDE как эффект в относительных процентах (например 10%) без перевода в долю и подстановки в формулу.

Практика

Задачи с решением

Оценка MDE при фиксированном n

Условие. n_A=n_B=3000, p_A=p_B=0,04, α=0,05 (1.96), power=80% (0.84).

Решение. MDE=(1,96+0,84)·sqrt(2·0,04·0,96/3000)=0{,}0049.

Ответ. MDE≈0,0049 (0,49 п.п.)

Как изменится MDE при росте n

Условие. Увеличьте n в два раза при тех же параметрах.

Решение. SE уменьшается в \sqrt{2}, поэтому MDE тоже уменьшается в \sqrt{2} раз.

Ответ. MDE снижается примерно на 29%.

Дополнительные источники

  • OpenIntro Statistics, power and planning
  • NIST/SEMATECH e-Handbook of Statistical Methods, sample size and detectable difference

Связанные формулы

Аналитика

Мощность теста (power) для разности долей — концепт

$\text{Power} \approx 1-\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right),\;\beta\approx\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right)$

Power отвечает на вопрос: с какой вероятностью тест обнаружит реальный эффект \Delta при заданном дизайне.