«Незначимо» ≠ «эффекта нет»
// Условие
Тест новой формы оплаты отработал две недели: p > 0.05. Продакт делает вывод: «эффекта нет, фичу выключаем, тему закрываем». Но тест собрал всего по 2 000 юзеров на группу — проверь, какие эффекты он вообще был способен увидеть.
Что нужно
Посчитай p-value теста и минимальный обнаружимый эффект (MDE) при фактической выборке: mde = 2.8 × se, где se — плановая ошибка разницы при базовой конверсии (2.8 = 1.96 + 0.84: α=0.05, мощность 80%). Сохрани в result — dict с ключами p_value, mde.// Данные
df:
user_id, group (A/B), converted (0/1) — одна строка на юзера// Решение
🔒
Решение, подсказки и автопроверка этой задачи — по подписке Premium. Вместе с ней открываются все премиум-задачи трёх тренажёров: SQL, pandas и A/B.
★ Открыть Premium