CTR врёт: показы — не юзеры
// Условие
Тест нового ранжирования ленты. Метрика — CTR (клики/показы). Дашборд считает тест по показам и рапортует значимость. Но рандомизация была по юзерам, а юзеры очень разные: кто-то видит 2 показа, кто-то 50. Показы одного юзера — не независимые наблюдения.
Что нужно
Посчитай p-value двумя способами: «наивно» по показам (z-тест долей, как в дашборде) и честно по юзерам (t-test поюзерных CTR). Сохрани в result — dict с ключами p_naive, p_user_level.// Данные
df:
user_id, group (A/B), views (показы юзера), clicks (его клики)// Решение
🔒
Решение, подсказки и автопроверка этой задачи — по подписке Premium. Вместе с ней открываются все премиум-задачи трёх тренажёров: SQL, pandas и A/B.
★ Открыть Premium