Рассчитай необходимый размер выборки, длительность теста и минимальный детектируемый эффект. Введи параметры слева — результат обновится мгновенно.
Двусторонний тест
Биномиальные метрики
Учёт нескольких вариантов
Параметры теста
Настрой под свой кейс
Базовая конверсия? подсказка
%
Текущий показатель метрики в контроле
Минимальный эффект (MDE)? подсказка
Относительный %
Абсолютный пп
%
Относительное: +10% к конверсии → с 5% до 5.5%
Уровень значимости (α)? подсказка
0.05 (5%)
0.01 (1%)
0.10 (10%)
Мощность теста (1−β)? подсказка
80%
90%
95%
Количество вариантов? подсказка
2 (A/B)
3 (A/B/C)
4 варианта
Дневной трафик? подсказка
чел/д
Доля трафика в тест? подсказка
%
Результат расчёта
// На группу
—
пользователей
// Всего в тест
—
пользователей
// Длительность
—
дней
// Целевая конверсия
—
в тестовой группе
Распределение времени—
Набор выборки —
Мин. 1 бизнес-цикл —
⚠
// Внимание
Параметры расчёта
Базовая конверсия—
Ожидаемая конверсия в тесте—
MDE (абсолютное изменение)—
Уровень значимости α—
Мощность теста—
Вариантов теста—
Трафик в тест (в день)—
МетодДвусторонний z-тест
Чеклист перед запуском теста
→
Выборка рассчитана заранее, а не после просмотра результатов
→
Трафик рандомизирован корректно — один пользователь всегда попадает в одну группу
→
Тест идёт не менее одного полного бизнес-цикла (обычно 7–14 дней)
→
Метрика для оценки выбрана до запуска теста, а не после
→
AA-тест пройден или статистическое равенство групп проверено
→
Нет внешних событий, которые могут исказить результат (акции, сезонность)
→
Поправка на множественное тестирование применена, если метрик несколько
→
Критерии остановки теста определены заранее — нет пикинга
Словарь терминов
MDE
Минимальный детектируемый эффект — наименьшее изменение метрики, которое вы хотите обнаружить с заданной мощностью. Чем меньше MDE, тем больше нужна выборка.
α (alpha)
Уровень значимости — вероятность ошибочно отклонить нулевую гипотезу (найти эффект там, где его нет). Стандарт — 5%.
1−β (power)
Мощность теста — вероятность обнаружить реальный эффект, если он есть. При мощности 80% вы пропустите 20% реальных эффектов.
p-value
p-значение — вероятность получить наблюдаемые данные, если нулевая гипотеза верна. p < α → результат статистически значим.
Двусторонний тест
Проверяет наличие эффекта в обоих направлениях (рост или падение). Рекомендуется по умолчанию — он консервативнее и надёжнее.
Бизнес-цикл
Тест должен идти минимум 7 дней (один недельный цикл), чтобы охватить разное поведение в разные дни недели. Лучше — 14 дней.
