Ок, сегодня будет тема попроще — как могут вредить метрики ;)
Самая простая ошибка: «после не значит вследствие». Сделали что-то в продукте — изменилась метрика — засчитали себе win. Подкрутили еще — метрика просела — lose. Можно ли на этом основании делать какие-то выводы? Кажется, что «да», а на самом деле «пока не понятно».
В самой первой главе в Симулятора (@oleg_gpio) есть пара хороших задач про понимание, где причинно-следственная связь, а где только возможная корреляция. По мне так очень недооцененное знание, особенно в приложении к работе с метриками.
Связанная ошибка — считать, что изменения метрики что-то подтверждают. Мне кажется, что они всего лишь дают довольно слабые дополнительные свидетельства.
В первом случае вы себя убеждаете в собственной правоте (подкрепляете иллюзии). Во втором — продолжаете осторожно повышать уровень уверенности в том, что проверяемая модель описывает реальность. Для первой задачи обычно хватает одного наблюдения, для второй точно нужна их серия.
Третья ловушка — слишком внимательно смотреть на метрики и слишком сильно реагировать на их изменения. Довольно очевидно, как это может привести к переключению в исключительно реактивный режим.
Просело количество новых посетителей на сайте, начали думать как поправить рекламу; упал средний чек, начали думать про апсейл; увеличился отток, начали думать, какую новую фичу запилить, чтобы она повысила ретеншен.
Все это время уровень конверсии из регистрации в платящих клиентов никак не менялся, поэтому про него и не думали.
Задачи, которые кажутся срочными, легко и естественно вытесняют задачи, которые на самом деле являются важными. Так устроен наш мозг — он с радостью реагирует на актуальные стимулы, тут же забывая о более далекой перспективе.
Проактивный режим, на мой взгляд, включается, только когда мы начинаем регулярно задавать себе вопросы про будущее.
В таком режиме, к вопросу «Сколько новых клиентов пришло в прошлом месяце?» добавляется не только вопрос «Что нам сделать чтобы привести больше клиентов в следующем?», но и такие вопросы как «Где у нас основные точки для роста?» и «Чем мы сейчас не занимаемся, а стоило бы?»
«Закопавшись в операционке, забыли про стратегию», — ровно об этом. Слишком пристальное наблюдение за метриками легко провоцирует первое и вполне может вытеснять второе.
Обо всем этом можно было бы и не писать, но метрики настолько полезная штука, что лишний раз вспомнить/проговорить потенциальные риски, которые с ними связаны, — кажется никогда не повредит.
Share this Scrolly Tale with your friends.
A Scrolly Tale is a new way to read Twitter threads with a more visually immersive experience.
Discover more beautiful Scrolly Tales like this.