// ЗАДАЧИ

Задачи по A/B-тестам с решениями

30 задач на разбор результатов A/B-теста: t-test, p-value, SRM, подглядывание, парадокс Симпсона. 15 бесплатных — с решением и выводом для команды.

A/B-тестыНовый чекаут: есть ли эффект?Команда две недели тестировала новый чекаут: контроль A — старый (3 шага), тест B — новый (1 шаг). Метрика — конверсия…Easy · Бесплатно→ A/B-тестыНовый баннер: не обманись шумомМаркетинг уверен, что новый баннер на главной поднял конверсию в регистрацию: «в тесте уже +0.35 п.п.!». Тест шёл…Easy · Бесплатно→ A/B-тестыСлишком красивый рост: проверь сплитТест нового онбординга: дизайн 50/50, метрика — конверсия в первую покупку. Через неделю в дашборде +0.9 п.п. и…Medium · Бесплатно→ A/B-тестыНовый поиск: доверительный интервалТестировали новый поисковый движок: контроль A — старый, тест B — новый. Метрика — конверсия в добавление товара в…Easy · Бесплатно→ A/B-тестыБесплатная доставка: средний чекТест порога бесплатной доставки: контроль A — от 3000 ₽, тест B — от 2500 ₽. Гипотеза: юзеры станут добирать корзину до…Medium · Бесплатно→ A/B-тесты«Конверсия выросла на 15%»Маркетинг тестировал новый лендинг и уже пишет пресс-релиз: «конверсия выросла на 15%!». Тебя просят проверить…Easy · Бесплатно→ A/B-тестыРанний восторг: хватает ли выборки?Тест нового онбординга идёт три дня, собрано по 700 юзеров на группу. В дашборде конверсия 8.0% против 10.0% — команда…Medium · Бесплатно→ A/B-тестыСчитаем выборку до запускаПродакт хочет протестировать новую карточку товара и ждёт от тебя план: сколько трафика нужно. Ожидаемый эффект — +1…Easy · Бесплатно→ A/B-тестыСколько дней собирать тестДизайн теста готов: нужно по 12 000 юзеров на группу (две группы, трафик делится 50/50). Остался вопрос календаря. У…Easy · Бесплатно→ A/B-тестыГруппы «разъехались»: паника или норма?Джун из команды пишет в панике: «У нас в тесте группы разъехались — 40 200 против 39 800, целых 400 юзеров разницы! Это…Easy · Бесплатно→ A/B-тестыПопап сработал. Но какой ценой?Тест агрессивного попапа подписки на рассылку: контроль A — без попапа, тест B — попап на входе. Целевая метрика …Medium · Бесплатно→ A/B-тестыЗначимо ≠ важноОгромный тест на главной странице маркетплейса — по 500 000 юзеров на группу. Данные уже агрегированы по группам. Новый…Medium · Бесплатно→ A/B-тесты«Возьмём односторонний — там уже значимо»Тест новой формы регистрации. Планировали как обычно: двусторонний тест, α = 0.05. Выборка собрана полностью, результат…Medium · Бесплатно→ A/B-тестыp = 0.049: победа?Тест нового флоу оформления заказа отработал ровно по плану: выборка собрана, подглядываний не было. Результат — p…Medium · Бесплатно→ A/B-тестыФинальный разбор: полный чек-листФинал бесплатного блока — полный цикл разбора, как на работе. Тест нового каталога: дизайн 50/50, две недели, выборка…Hard · Бесплатно→ A/B-тестыПарадокс Симпсона: рост, которого нетТест новой версии приложения. Общая конверсия в тесте заметно выше — команда готовит победный отчёт. Но у платформы два…Hard · Пробная→ A/B-тестыПодглядывание: p-value, который мерцаетТест планировали на 14 дней. На 4-й день продакт увидел в дашборде p = 0.004 и потребовал остановить тест и раскатить…Hard · Пробная→ A/B-тестыВосемь метрик: одна «выстрелила»Тест нового каталога. Целевая метрика не изменилась, но команда смотрит в дашборде ещё 7 второстепенных — и нашла…Medium · Premium→ A/B-тестыЭффект новизны: рост, который выветритсяТест яркого нового виджета рекомендаций. Две недели отработали честно, общий результат значим — формально можно…Medium · Premium→ A/B-тестыОбщий ноль, сегментное золотоТест упрощённой регистрации. Гипотеза изначально была про новых юзеров: «упростим первый контакт — вырастет конверсия…Medium · Premium→ A/B-тестыCTR врёт: показы — не юзерыТест нового ранжирования ленты. Метрика — CTR (клики/показы). Дашборд считает тест по показам и рапортует значимость…Hard · Premium→ A/B-тесты«Незначимо» ≠ «эффекта нет»Тест новой формы оплаты отработал две недели: p > 0.05. Продакт делает вывод: «эффекта нет, фичу выключаем, тему…Medium · Premium→ A/B-тестыКит в данных: +399% к выручкеТест нового промо-блока. Дашборд взорвался: выручка на юзера в тестовой группе в 5 раз выше контроля! Продакт уже пишет…Medium · Premium→ A/B-тестыA/A-тест: проверка на честностьПеред запуском большой программы экспериментов ты настоял на A/A-тесте: обе группы видят один и тот же продукт, сплит и…Medium · Пробная→ A/B-тестыКонверсия выросла, деньги упалиНа карточку товара добавили блок «похожие товары подешевле». Конверсия в покупку выросла — блок «работает». Но у теста…Medium · Premium→ A/B-тестыЗаражённый контроль: реферальная программаТест реферальной программы «приведи друга — оба получите промокод». Фича включена только тестовой группе. Но…Medium · Premium→ A/B-тесты«Зато в Казани сработало!»Общий результат теста — ноль, и продакт отправился «копать глубже»: разбил юзеров на 8 сегментов и нашёл один со…Medium · Premium→ A/B-тестыТриалы растут, деньги — нетТест агрессивного онбординга SaaS-продукта: упрощённая форма и яркий CTA «попробуй бесплатно». Конверсия в триал…Medium · Premium→ A/B-тестыРандомизация по сессиям: юзер против себяКоллега запустил тест нового интерфейса корзины, рандомизируя сессии : «так выборка набирается быстрее». Юзер утром…Medium · Premium→ A/B-тестыФинальный аудит: тест против интуицииФинал курса. Большой редизайн главной страницы — три месяца работы дизайн-команды, любимый проект CPO. Тест отработал…Hard · Premium→