Карточка // 12 пунктов · 4 фазы

Чек-лист запуска A/B-теста
за 1 экран

12 пунктов, которые закрывают 90% типичных ошибок запуска. Отмечай по ходу — состояние сохраняется в браузере.

Готово: 0 / 12

Фаза 01 Гипотеза и метрики

01 Гипотеза сформулирована по шаблону: «Если [изменение], то [метрика] вырастет на [X]%, потому что [механизм]». Не «попробуем» и не «кажется, должно работать». 02 Primary metric — одна. Измеримая, напрямую связана с бизнес-целью теста. Несколько primary метрик — это отсутствие primary метрики. 03 Guard metrics зафиксированы (2–3 штуки) — что нельзя ронять. Согласованы с продактом до запуска, не после.

Фаза 02 Статистика

04 MDE (минимальный детектируемый эффект) определён — не «чем больше, тем лучше», а реалистичный бизнес-минимум. Меньше MDE → больше выборка → дольше тест. 05 Уровень значимости и мощность зафиксированы: α = 0.05, мощность = 0.80 — или иные с явным обоснованием. Не по умолчанию, а осознанно. 06 Размер выборки рассчитан по формуле — не «запустим, посмотрим». Для пропорций: формула Нормана; для ratio-метрик: delta-method или bootstrap. 07 Длительность ≥ 2 полных недели — учитывает недельную сезонность. Исключение: очень высокий трафик + широкий MDE. Меньше недели — почти всегда ошибка.

Фаза 03 Запуск

08 Split проверен — 50/50 или иной с обоснованием (асимметричный split → меньший трафик → медленнее). Отклонение от ожидаемого split > 1% — красный флаг. 09 A/A тест пройден — платформа сплитования валидна. Особенно важно при новой системе рандомизации, новой метрике или первом запуске на сегменте. 10 SRM check в первые 24–48 часов — Sample Ratio Mismatch: соотношение групп совпадает с заданным. SRM → данные ненадёжны, тест нужно останавливать и разбираться.

Фаза 04 Мониторинг и завершение

11 Guard metrics мониторятся в процессе — не только в конце. Если guard упала на 3-й день — лучше остановить и разобраться, чем раскатить через три недели. 12 План раскатки и план rollback согласованы с продактом — до начала теста. Кто принимает решение, при каком результате, за сколько дней раскатываем, когда останавливаемся.

Антипаттерны

3 ошибки, которые не закрывает чек-лист

// 01

Peeking — смотреть результаты раньше времени

→

Завышенный Type I error: в момент «значимости» 30–40% шанс, что это случайность. Смотришь только в конце, в заранее зафиксированный день.

// 02

Менять метрику в процессе теста

→

Post-hoc rationalization: «конверсия не выросла, зато retention...». Если метрику выбрали после просмотра данных — результат нельзя считать значимым.

// 03

Раскатка без holdout при незначимом результате