Thread by @produnderhood

Темная сторона метрик.
Темная сторона метрик / KPI вызвана тем же, чем и их светлая сторона: это всего лишь проекция/прокси настоящих штук. С одной стороны это дает возможность заглянуть / померять что-то реальное. С другой стороны — при этой проекции могут теряться важные вещи.

Закон Гудхарта: если метрика/KPI используется в качестве цели, то эта метрика перестает быть хорошей для измерения достижения этой цели.

Особенно это так, если на эту метрику завязаны материальная компенсация (бонусы или штрафы)

Про закон Гудхарта в RU Wiki: ru.wikipedia.org/wiki/%D0%97%D0…
В EN Wiki: en.wikipedia.org/wiki/Goodhart%…

Люди всегда будут находить обходные пути, если метрика/KPI это единственная штука, которая измеряет их.

Примеров этому много. Перечислю свои любимые.

Известный пример с кобрами: Когда Индия была колонией, то англичане были озабочены проблемой кобр. Поэтому англичане предложили премию за каждую найденную и убитую кобру. Сначала эта программа работала неплохо. Но потом индийцы стали просто разводить кобр сами на своих фермах.

Когда правительство узнало об этом, программу свернули и перестали платить премии. Индийцам стало невыгодно разводить кобр, они их выпустили на волю. В результате популяция змей в итоге увеличилась.

Во Вьетнаме французское правительство предложило премию за убитых крыс. Деньги выплачивались при показе отрубленного хвоста. В результате охотники ловили крыс, отрубали им хвосты и отпускали на волю — размножаться дальше, чтобы они плодились дальше и было что рубить в будущем.

В Канаде был просто пиздец. Канадское правительство субсидировало Квебеку расходы на пациентов. Дюплесси, премьер-министр Квебека, перевел все сиротские приюты под управление католической церкви.

Поэтому приюты были переквалифицированы в госпитали, чтобы увеличить субсидии а детей рожденных вне брака туда забирали как “сирот”. Так как Канада платила Квебеку $1.25 за содержание сироты и $2.75 за пациента псих. больницы, то многих сирот переквалифицировали в псих.больных.

Ужасная история. RU: diletant.media/articles/33392…
EN: nytimes.com/1993/05/21/wor…

Везде один и тот же случай: есть какая-то метрика, она влияет на что-то (например деньги), идет оптимизация на метрику, все взрывается.

Вот еще примеры. Если мы нанимаем риелтора купить квартиру и риелтор получает фиксированный процент за стоимость (например 3%), то риелтору не выгодно купить ее дешево.

Им выгодно купить ее дорого, но так, чтобы мы все еще согласились на эту цену. (Поэтому наверное мотивация риелтора должна быть обратной в такой ситуации — бóльший %, если цена ниже).

Еще отличная история про чувака из США. Чувак, Джонн Орр, работал пожарным. Был на хорошем счету, известен, по конференциям ездил. Всегда первым приезжал на пожар и мог точно определить, откуда пошло возгорание. А оказалось, что он был серийным поджигателем.

Он десять лет сам поджигал и потом сам же тушил. Сам себе придумывал работу. И за счет этого стал таким продуктивным. И по метрикам у него все было отлично.

История огонь — facebook.com/kalashnikov.mi…

Хотите еще примеров как люди обманывают метрики — разговорите вашего следующего водителя Яндекс.Такси. Вам откроются бездны. Люди очень креативные. Снимаю шляпу перед продактами Я.Такси, они наверное не признаются вслух, но думаю часть их работы это противодействие таким штукам.

В разработке продукта такое тоже есть, конечно. Самый классический пример "давайте сделаем нашим QA инженерам KPI по кол-ву найденных багов" или что-то подобное. Это бомба замедленного действия. Вот хороший пост про это: t.me/program_man/23

То же самое про измерение производительности разработчика по кол-во строчек кода. Байка из Apple 80-ых: folklore.org/StoryView.py?s…

Конечно многие скажут — ну это ж очевидно же! Ну да, *это* — очевидно. А какие штуки уже попали в слепую зону?

Еще пара примеров. В US есть закон,который позволяет небольшим сельским телефонным компаниям брать деньги с больших телефонных компаний за доступ к своим сетям.То есть если кто-то со связью от AT&T звонит на номер небольшой телефонной компании из Южной Дакоты,то AT&T им заплатит.

Заплатит им termination fee за каждую минуту разговора. Этот закон приняли для того, чтобы эти небольшие компании поддержать — им же дорого тянуть в необжитой местности линии, а звонков там немного.

Ну хитрые чуваки из этих небольших тел. компаний поняли как это использовать. Они стали открывать сервисы, которые генерируют много входящего трафика: например конференц-связь. И получать деньги с крупных ребят. Так работают бесплатные сервисы конф-связи: aaronparecki.com/2012/03/25/8/h…

Еще пример. В Гугле всячески поощряется запуск новых продуктов — за это повышают зарплату и промоутят. Результат — все хотят только запускать новые штуки(тыща мессенжеров), а поддерживать старые никто не хочет. В результате старые продукты полны багов и не развиваются или умирают

Это все результаты поставленных метрик/KPI, которые были поставлены для достижения целей, но стали целями сами.

Есть ли у вас похожие примеры? Напишите реплаем.

Другой побочный эффект измеримых штук — оптимизируется то, что проще измерить. Так как конверсию считать проще, чем счастье пользователей — оптимизируется именно конверсия. И может быть перекос на кратковременные цели/эффекты. (привет, кликбейтные заголовки!)

Несколько хороших статей про это (английский):
— sriramk.com/building-unmea…
— kortina.nyc/essays/metrics…
— ribbonfarm.com/2016/09/29/sof…

Ну и тут конечно кто-то уже думает — ОК, ОК, метрики могут выстрелить в коленку. ЧТО ДЕЛАТЬ-ТО? Ох если бы я знал точно. Мне помогает следующее.

— Всегда помнить о таком эффекте метрик. Не думать "ща мы тут сделаем KPI и все ПОЛЕТИТ".
—Помнить, что KPI/метрики это всего лишь "прокси"цели, а не сама цель.

— Набор метрик должен быть сбалансирован. Больше одной метрики, “cкрытые” метрики (которые измеряются, но не являются публичной целью) и так далее.
— Здравый смысл и внешний эксперт.То есть какой-то человек оценивает и говорит, погодите — это же какая-то херня, так делать нельзя

— Сомневаться в метриках и копать глубже, особенно (ОСОБЕННО!) если они подтверждают твое мнение.

Три интересных истории про метрики / данные и их интерпретацию.

16 лет полиция Германии безуспешно искала серийного маньяка-женщину. Ее ДНК был обнаружен на месте 40 преступлений. Спустя 16 лет оказалось, что маньяка нет.

Ватные палочки, которыми собирались ДНК образцы, уже были загрязнены чужой ДНК. Предположительно работницей фабрики, где эти ватные палочки производились.
RU wiki: ru.wikipedia.org/wiki/%D0%A4%D0…
EN wiki: en.m.wikipedia.org/wiki/Phantom_o…

Другая байка про оптимизацию. В одной компании (абстракный ГуглоФейсбук) выпустили большой проект по оптимизации скорости загрузки страниц. Смотрят в данные — а по ним скорость загрузки страниц не уменьшилась, а выросла. Почему?

Оптимизация привлекла много новых пользователей из Африки, которые раньше совсем не могли загрузить страницы. А теперь могут (ну и увеличили среднее время загрузки)

Третья байка про судей с усталостью от решений. В каждой второй научпоп книге вспоминают этих судей, которые так уставали от решений, что к концу сессии количество положительных решений сокращалось до нуля. Так вот, говорят это все неправда.

Чуваки объясняют результата эксперимента следующим образом:
- Список дел на рассмотрение отсортирован и не случаен. Сначала рассматриваются дела тех, у кого есть адвокат. В конце те — у кого нет адвоката (и они защищают себя сами).

- Судьи сортируют дела по сложности — самые сложные, которые занимают больше всего времени, рассматриваются первыми. Легкие — в конце. А какие дела самые легкие? Те, в которых очевидное отрицательное решение о досрочном освобождении.

- Статистически дела, в которых принимается положительное решение, занимают сильно больше времени, чем те, в которых принимается отрицательное решение.

Поэтому даже если дела распределены случайно, то если дело с положительным концом попадет на конец сессии, то его не успеют рассмотреть до конца и оно перейдет на начало следующей сессии — где и будет положительно завершено.

То есть данные *верны*, дело в том, какие выводы из их мы делаем.

Что будет, если дать свободно оптимизировать на метрики/KPI, можно увидеть вокруг. Думаю каждый может вспомнить или увидеть это вокруг нас.

На Хабре была история, которая частично пересекается с этой темой: m.habr.com/ru/post/433514/ Рекомендую.

Метрики и KPI — это *действительно* важно. Это очень полезный инструмент. Без острой катаны и фонарика при зомби-апокалипсисе очень сложно. Но как и любой инструмент его можно применить неправильно и отрезать себе что-то. По возможности избегайте этого.