Ratio-metric: CR с правильной агрегацией
// Условие
Conversion Rate — бинарная метрика (0/1 на юзера). Для сравнения двух групп используй chi-square test of independence, а не t-test на per-user CR. t-test на бинарных данных даёт неправильную variance.
Что нужно
Для каждой группы посчитай pooled CR (total_conversions / total_users) и сравни через chi-square:
users_a, users_b(int) — количество юзеров в каждой группе;conversions_a, conversions_b(int) — количество конверсий;cr_a, cr_b(float, round 4) — conversion rate;lift_pct(float, round 4) — (cr_b − cr_a) / cr_a;chi2_pvalue(float, round 6) — p-value изstats.chi2_contingencyна 2×2 таблице.
// Данные
df:
user_id, group ('A'/'B'), converted (0 или 1)// Решение
🔒
Решение, подсказки и автопроверка этой задачи — по подписке Premium. Вместе с ней открываются все премиум-задачи трёх тренажёров: SQL, pandas и A/B.
★ Открыть Premium