Контекст
Почему это важно именно для аналитика
Когнитивные искажения — это систематические ошибки мышления. Они есть у всех: у новичков и у сеньоров, у аналитиков и у CEO. Мозг использует их как shortcuts — быстрые пути, которые работают в большинстве ситуаций, но ломаются при работе с данными.
Опасность не в том, что ты делаешь технические ошибки в SQL. Опасность в том, что ты приходишь к неверным выводам и абсолютно уверен в своей правоте. Именно поэтому искажения так сложно поймать — они маскируются под здравый смысл.
// Исследования
Даже опытные аналитики систематически переоценивают точность своих прогнозов. Это явление называется overconfidence bias и встречается у профессионалов чаще, чем у новичков — просто потому что чем больше человек знает, тем увереннее он в своих суждениях.
Хорошая новость: знание об искажении не гарантирует защиту от него, но существенно снижает риск. Это как знать о слепом пятне глаза — ты не перестаёшь им обладать, но начинаешь специально смотреть туда, где оно мешает.
Разбор
7 искажений, которые ломают анализ
Мы склонны искать, интерпретировать и запоминать информацию так, чтобы она подтверждала то, во что мы уже верим. В аналитике это самое распространённое и самое опасное искажение.
Ты выдвинул гипотезу — и теперь подсознательно выбираешь метрики, которые её поддерживают. Смотришь на данные за период, когда тренд совпадает с гипотезой. Игнорируешь сегменты, где картина другая. И в итоге пишешь вывод, который ты знал ещё до начала анализа.
Как проявляется
PM считает, что новый онбординг улучшил retention. Аналитик смотрит данные за последние 2 недели — там рост. Останавливается. В отчёте пишет: «Гипотеза подтвердилась». Не проверяет, не было ли сезонного роста в этот же период год назад.
Как должно быть
Аналитик формулирует: «Что может опровергнуть эту гипотезу?» Проверяет данные за аналогичный период прошлого года. Смотрит на сегменты отдельно. Ищет альтернативные объяснения роста прежде чем писать вывод.
Формулируй нулевую гипотезу — что нет эффекта, и пытайся опровергнуть именно её
Задавай вопрос: «Что могло бы меня переубедить?» Если ответа нет — это тревожный знак
Используй pre-mortem: перед финальным выводом представь, что ты ошибся, и найди возможную причину
Попроси коллегу сыграть devil's advocate — найти дыры в твоём анализе
Мы анализируем только тех, кто «выжил» — дошёл до конца воронки, остался в продукте, совершил покупку. Те, кто ушёл, из анализа выпадают. В результате наши выводы описывают лучших пользователей, а не всех.
Классический пример из истории: во Вторую мировую армия анализировала пробоины на вернувшихся самолётах и хотела укрепить повреждённые места. Статистик Абрахам Вальд указал: нужно укреплять места без пробоин — именно туда попадали снаряды у самолётов, которые не вернулись.
Как проявляется
Анализируем retention только тех пользователей, кто дошёл до ключевого действия в онбординге. Видим отличный D30 — 45%. Делаем вывод, что продукт хорошо удерживает. Забываем, что 80% пользователей не дошли до этого шага вообще.
Как должно быть
Считаем retention от всей когорты зарегистрировавшихся — включая тех, кто не завершил онбординг. Тогда реальный D30 retention — 9%. Это совсем другая картина и совсем другие выводы.
Всегда спрашивай: «Кто не попал в эту выборку?» и почему
Считай метрики от полной когорты, а не от тех кто дошёл до нужного шага
Анализируй отвалившихся отдельно — именно там самые важные инсайты
Первое увиденное число становится «якорем» — точкой отсчёта для всех последующих оценок. Мы корректируем от якоря, а не думаем независимо. Это влияет на то, какой эффект от теста мы считаем «хорошим» и какие цели ставим.
Как проявляется
В прошлом квартале конверсия в оплату была 7%. Текущий тест показал +0.3 пп. Кажется, что это мало. Принимается решение не катить. Но у конкурента та же метрика — 5%, и +0.3 пп для этого бизнеса — это 6% рост выручки.
Как должно быть
MDE и минимальный значимый эффект определяются до запуска теста — исходя из бизнес-модели и стоимости изменений, а не из исторических значений метрики. Тогда оценка результата не зависит от якоря.
Определяй MDE и критерии успеха до начала теста, а не после просмотра результатов
При оценке эффекта считай абсолютное влияние на бизнес — в рублях или пользователях, а не только в процентах
Спрашивай себя: «Если бы я не знал прошлых значений, как бы я оценил этот результат?»
Мозг эволюционно заточен находить паттерны — это помогало выживать. Но в данных он видит значимые паттерны там, где есть только случайный шум. Особенно опасно при работе с маленькими выборками и временными рядами.
Три дня подряд конверсия росла — мозг говорит «тренд». Метрика упала в понедельник — мозг говорит «что-то случилось в выходные». На самом деле это может быть обычная случайная флуктуация в пределах нормального разброса.
Как проявляется
Дашборд показывает: три дня подряд DAU падает. PM пишет в чат «что происходит?» Аналитик начинает искать причину. Через час находит «объяснение» — два дня назад был деплой. Но падение в пределах обычного шума, и деплой здесь ни при чём.
Как должно быть
На дашборде настроены полосы нормального разброса (±2 std). Три дня падения — внутри полосы. Аналитик отвечает: «Это в пределах нормы, алерт не сработал». Расследование не начинается, время не тратится.
Добавляй на дашборды полосы нормального разброса — чтобы видеть что является шумом
Перед объяснением аномалии проверь: выходит ли она за пределы исторического разброса?
Помни правило: с 20 метриками на дашборде одна всегда будет «значимой» случайно при α = 0.05
Для временных рядов используй скользящее среднее чтобы отделить тренд от шума
Мы придаём слишком много веса последним событиям и слишком мало — историческому контексту. То, что случилось на прошлой неделе, кажется более важным и репрезентативным, чем данные за полгода.
В аналитике это особенно опасно при оценке сезонных эффектов, при анализе поведения новых пользователей и при принятии решений на основе коротких A/B тестов.
Как проявляется
В ноябре запустили тест на кнопку «Купить». За 5 дней конверсия выросла на 15%. Решение — катить немедленно. Никто не вспомнил, что ноябрь — это предпраздничный период с аномально высоким intent у пользователей. В декабре эффект исчез.
Как должно быть
Тест идёт минимум 2 полных недели — чтобы захватить разное поведение в разные дни. Результаты сравниваются с аналогичным периодом прошлого года. Сезонность учитывается явно в интерпретации.
Всегда смотри год-к-году при анализе любых сезонных метрик
Тесты должны идти минимум один полный бизнес-цикл — обычно 2 недели
При принятии решений спрашивай: «Что говорят данные за 3–6 месяцев, а не только за последнюю неделю?»
Люди с низким уровнем знаний склонны переоценивать свою компетентность — они не знают достаточно, чтобы понять как много они не знают. Эксперты, наоборот, часто недооценивают себя — потому что видят всю сложность проблемы.
В аналитике это означает: джун уверен в выводах, которые сеньор поставит под сомнение. Это не потому что джун хуже — это потому что он ещё не видит подводных камней, которые опытный аналитик замечает автоматически.
Как проявляется
Аналитик первого года уверенно делает вывод: «A/B тест показал p = 0.04, значит фичу нужно катить». Не проверяет нормальность распределения. Не делает поправку на множественное тестирование. Не смотрит на guardrail метрики. Уверен.
Как должно быть
Аналитик с опытом знает, что p = 0.04 — это повод продолжить проверку, а не финальный ответ. Он смотрит на размер эффекта, guardrail метрики, проверяет допущения. И только тогда формулирует рекомендацию с явными оговорками.
Культивируй установку «что я мог пропустить?» — это главный вопрос опытного аналитика
Просить ревью у более опытного коллеги — это признак профессионализма, а не слабости
Изучай кейсы где анализ оказался неправильным — ошибки других учат лучше чем успехи
Формулируй выводы с явными допущениями и ограничениями — это снижает самоуверенность
Мы продолжаем вкладываться в то, во что уже много вложили — даже если данные говорят «стоп». Прошлые затраты влияют на будущие решения, хотя рационально они не должны — прошлое не вернуть.
В аналитике это проявляется двояко: команда продолжает катить фичу, которая не показала эффекта, потому что «столько сил вложено». Или аналитик продолжает копать в неперспективном направлении, потому что уже потратил на него неделю.
Как проявляется
Три месяца разрабатывали новый рекомендательный движок. A/B тест показал: нейтральный эффект на retention, лёгкое падение CTR. Команда решает катить — «мы же столько сделали, жалко откатывать». Данные игнорируются.
Как должно быть
Аналитик чётко фиксирует: «Тест не показал значимого улучшения ни по одной ключевой метрике. Рекомендация — не катить. Прошлые затраты на разработку не являются аргументом для запуска». Это честный вывод.
Задавай вопрос: «Если бы мы начинали с нуля сегодня — мы бы это запустили?»
Фиксируй критерии успеха до запуска — и придерживайся их, даже если результат неудобный
Помни: «не катить» — это тоже решение и тоже ценность. Остановить неэффективное — это успех аналитика
// Важное замечание
Знание об искажении не защищает от него автоматически. Исследования показывают, что люди, которые изучали когнитивные искажения, подвержены им почти так же, как и те, кто не изучал. Нужны систематические практики и внешние проверки — не просто знание терминов.
Справочник
Быстрая справка
| Искажение | Суть | Главный вопрос-защита |
| Confirmation bias | Ищем подтверждение уже готовому выводу | Что могло бы меня переубедить? |
| Survivorship bias | Анализируем только тех, кто «дожил» | Кто не попал в мою выборку? |
| Anchoring | Первое число влияет на все оценки | Каков реальный бизнес-эффект в деньгах? |
| Clustering illusion | Видим паттерны в случайном шуме | Выходит ли это за пределы нормального разброса? |
| Recency bias | Переоцениваем свежие данные | Что говорят данные за 3–6 месяцев? |
| Даннинг-Крюгер | Чем меньше знаем — тем увереннее | Что я мог пропустить в этом анализе? |
| Sunk cost | Прошлые затраты влияют на решения | Если бы начинали с нуля — мы бы это запустили? |
Итог
Чеклист перед отправкой анализа
Перед тем как отправить выводы команде — задай себе эти семь вопросов. По одному на каждое искажение из статьи.
7 вопросов к себе
1
Confirmation: Я активно искал данные, которые опровергают мой вывод — или только те, что его подтверждают? 2
Survivorship: Кто не попал в мою выборку? Как ведут себя те, кто ушёл до нужного шага? 3
Anchoring: Критерии успеха были определены до просмотра результатов или после? Я считал реальный бизнес-эффект в рублях? 4
Clustering: Аномалия действительно выходит за пределы нормального разброса или это просто шум? 5
Recency: Я смотрел на данные за достаточно длинный период? Сравнивал с тем же периодом прошлого года? 6
Даннинг-Крюгер: Какие допущения я сделал, которые могут оказаться неверными? Попросил ли я ревью? 7
Sunk cost: Если бы команда начинала с нуля — она бы запустила это, глядя на данные? Главное
Когнитивные искажения — не признак глупости. Это архитектурная особенность мозга, который оптимизирован для скорости принятия решений, а не для точности анализа данных. Понимать это — значит работать с мозгом, а не против него.
Хороший аналитик отличается от среднего не тем, что у него меньше искажений. А тем, что у него есть привычки и системы, которые эти искажения компенсируют: формулировать нулевую гипотезу, определять критерии успеха заранее, смотреть на полную выборку, просить ревью.
Сохрани чеклист из этой статьи. Он не гарантирует идеальный анализ — но он гарантирует, что ты хотя бы задал правильные вопросы.
Следующий шаг: прочитай про шаблон постановки аналитической задачи — правильно сформулированная задача до начала анализа снижает риск большинства этих искажений.
АТ
Андрей Тарасенко
// Продуктовый аналитик · Авито · Ментор
Сам наступал на большинство из этих граблей — особенно на confirmation bias в первый год в IT. Пишу про аналитику и мышление в Telegram — подписывайся, там выходит продолжение этих тем.
Написать в Telegram Читать также
Материалы по теме