Thread by @produnderhood

Про принятие решений.

Продакт-менеджерам (и не только им) надо принимать много решений в условиях неопределенности. Это сложно. Сложно принимать решения, если ставки не малы. Еще сложней ошибаться и понимать "выбор был плох".

Расскажу про разные подходы к принятию решений, которые работают у меня. Сразу предупрежу: серебрянной пули нет и я так же блуждаю во тьме как и все. Это всего лишь набор эвристик и убеждений, которые помогают *мне*. Используйте на свой страх и риск.

Первая важная штука: если решение отменяемое (пусть даже и с потерями), то в большинстве случаев лучше принять ЛЮБОЕ решение (пусть оно и плохое) чем тянуть с выбором.

Принимаете решение → видите результат → идете дальше или отменяете его. В любом случае у вас есть новая информация. А когда тянешь с выбором, то никакой новой информации не появляется обычно — тянешь, потому что страшно выбирать. Но риск и последствия переоцениваются обычно.

Вторая важная штука: У хорошего решения могут быть плохие последствия. А у плохого решения могут быть хорошие последствия. Не надо путать решения с результами.

Обычно люди (и я!) путают хорошие решения и хорошие результаты. Решение может быть хорошим, но результат будет плохим из-за случайности. Это не делает решение плохим. И наоборот, хороший результат не делает плохое решение лучше. (тут именно про оценку качества решения)

Поэтому не нужно себя корить, если вы приняли хорошее решение, а результат получился плохим.Не нужно думать "ох если бы я знал и сделал по другому" (мышление задним числом)

Представим игру — вы должныпоставить или на 1-5 (5 цифр) или на 6. Если ваша ставка сработала — вы получаете $100, если нет — теряете $100. Вы конечно выбираете 1-5, но выпадает 6. Вы потеряли $100, результат плохой, но решение было хорошим.

Чтобы выбрать решение, надо помнить вот о чем.
— Жизнь это покер, а не шахматы. Решения принимаются на основе неполных данных и с ограничением по времени. Результаты сильно зависят от случайности.

— Everything is bet. Принятие решения это ставка (своих денег, времени, усилий) на определенный результат. Ставка может сработать, а может и нет.

Когда мы принимаем решение, нам надо оценить вероятности того или иного события. И есть две новости — ХОРОШАЯ и ПЛОХАЯ.

Хорошая: Мы весьма неплохо можем оценивать вероятности событий. Мы это делаем каждый день, принимая решения.
Ценность возможной награды всегда зависит от вероятности ее получить, поэтому вероятности мы считаем быстро (но не всегда правильно, иногда наши эвристики ошибаются).

Плохая: Мы ужасно переводим ощущение вероятности в числа, в что-то, что мы можем использовать логически.

Я знаю три штуки, которые немного помогают это сделать, перевести ощущения в что-то более конкретное.

— Первое. Надо задать себе вопрос “Насколько я буду удивлен, если это произойдет? (или не произойдет)”. Представляем ситуацию в голове и пытаемся понять степень своего удивления. Мы можем быть удивлены слабо (вероятность высокая) или сильно (низкая) или ОЧ. СИЛЬНО (очень низкая)

— Второе. Задать себе вопрос “Сколько денег я готов поставить, что это не произойдет?” (Если произойдет — деньги потеряны). Чем больше денег, тем больше вероятность, что это не произойдет. Когда дело касается потерь и приобретений мы все оцениваем на лету.

— Третье. Задать себе вопрос “Если эта ситуация случится 10 (или 100, 1000) раз подряд, сколько раз эта нужная штука произойдет?”. Если по ощущениям только в 10 случаях из 100 — шансы 10%.

Получившиеся оценки можно уже использовать для сравнивания решений между собой и использования для принятия решения.

Каждая эта штука требуют необходимости симулировать в голове возможные события — это полезный навык. Также важно понимать, что это озвучивает внутреннюю вероятностную оценку в более конкретные штуки, но не гарантирует, что наша изначальная оценка была верна.

Кто-то сейчас думает — а как же ИНТУИЦИЯ. Надо же довериться ПОДСОЗНАНИЮ, которое все правильно решит. Да? Ну иногда, есть важный нюанс.

Известный Даниэль Канеман говорит, что интуиция работает в ситуациях, когда выполняется три условия.

— В области (в которой делается предположение) должны быть какие-то паттерны, закономерности.
— У человека было много практики в этой области.
— Область дает немедленный фидбэк: мы сразу понимаем было ли решение правильное или нет.

То есть когда у нашей встроенной нейронной сети была возможность натренироваться принимать быстрые решения, когда мы внутри уже нашли нужный эвристики.

Если в области нет паттернов (рулетка), не было практики у человека (в первый раз ведет проект) или область не дает немедленный фидбэк (решения уровня страны, результаты которых видны через 10 лет) — интуиция не будет работать.

Важно понимать в какой мы ситуации и понимать — тут можно доверится интуиции или же нет.

Что еще работает. Skill vs. luck. Люди также любят путать причины успеха и неуспеха. Если человек сам чего-то достиг, то он как правило припишет результат своим заслугам (skill), а успех чужих людей припишет просто их удаче (luck).

В случае неуспеха наоборот — свои неудачи оправдываются случайностью (luck), а чужие неудачи — их плохими действиями (skill).

Надо помнить про элемент случайности и не считать, что все прошлые свои решения были АБСОЛЮТНО правильные. Вполне возможно во многих просто повезло.

Правило 10-10-10. Задавать себе вопрос — какие последствия у моего решения будут через 10 минут? 10 месяцев? 10 лет? (это кстати работает, чтобы проще относится к каким-то проблемам — “будет ли это важно через неделю? год? 5 лет?”).

Почему это важно — если решение не важно через короткое время — не надо много времени тратить на его принятие (любой здравый выбор подойдет — риски небольшие). Если решение важно через 10 лет — его не надо принимать на базе эмоций или текущего настроения.

— С будущего и назад. Надо представить желаемое будущее и подумать о том, какие решения туда приведут.

— Премортемы это хорошо. Перед решением/действием подумать про “что может пойти не так” и защититьcя от этого. Также позволяет убрать решения, в которых есть заметный шанс, что если что-то пойдет не так, то риск большой и неотменяемый.

Проще говоря — если вы играете в русскую рулетку, где в 5 из 6 случаев вы выигрываете $1M, а в 1 из 6 — умираете, то это плохой выбор (для меня). Неотменяемый гигантский риск.

БИОХАКИНГ В КАЖДЫЙ ДОМ
А теперь когда я привлек ваше внимание про более приземленное. Мы едим, спим и пьем. Все это влияет на наше мышление сильнее чем мы думаем. Решения на голодный желудок, когда не выспались и тд — будут другими. Тоже про это важно помнить.

Еще на принятие точных решений влияет наши убеждения. Если человек идентифицирует себя с какой-то идеологией, догматами, большими идеями — он будет хуже предсказывать будущее (на уровне рандома или даже еще хуже).

Такие люди адаптируют свидетельства под свои большие идеи, игнорируют противоречащие факты, выстраивают истории вокруг больших идей. Но при этом такие люди и их предсказания более популярны — всем нравятся уверенность, стройные и простые истории.

Еще проблема: Мы часто, не осознавая это явно, подменяем сложные вопросы и решения простыми. На простые вопросы проще отвечать. Такие подмены надо стараться отслеживать.

Пример: на вопрос “нет ли у нас проблем с продакшеном?” отвечать “обращений от пользователей не было”. Тут сложный вопрос с кучей неопределенностей подменен простым вопросом “были ли обращения?”. Очевидно, это два разных вопроса и ответ на второй, не отвечает на первый.

Другой пример: подменять сложное решение жениться / выйти замуж за человека на простое "мне хорошо с этим человек *сейчас*"

(так, скоро и до брачных советов доберемся)

Есть еще пара забавных эвристик для принятия решений. В реальной жизни применяются редко, но знать про них интересно.

Правило 37% процентов. Его еще называют проблемой поиска секретаря, задачей разборчивой невесты, теория оптимальной остановки и так далее. По любой из этих фраз можно найти подробный рассказ, поэтому кратко.Допустим мы хотим нанять секретаря.

Мы разместили вакансию и к нам пришло N человек.Мы в случайном порядке говорим с каждым и сразу выносим решение—брать или нет. Если берем,поиск останавливается.Если не берем,мы в будущем не сможем вернуться нему(наймут другие). Цель: выбрать лучшего кандидата из всех

Так вот, оптимальный алгоритм там такой: посмотреть первых 37% чуваков и всем отказать. После этого взять сразу первого чувака, который лучше всех предыдущих. Это интересный алгоритм, которые в разных статьях пытаются применить по разному (поиск парковки, поиск партнера и тд).

Правило трех: johndcook.com/blog/2010/03/3… Автор рассказывает про быструю эвристику подсчета вероятности в определенных случаях.

Допустим мы вычитываем книгу на ошибки и нашли 7 ошибок на первых 20 страницах. Мы можем предположить, что вероятность нахождения ошибки на странице 7⁄20 = 35% Но что если на первых 20 страницах ошибок не было совсем, какая вероятность ошибки на странице тогда?

Быстрое правило трех звучит так: если мы протестировали N кейсов и событие не наступило, то вероятность события cкорее всего меньше 3/N.

Для примера с книгой это 3⁄20, то есть вероятность ошибки на странице, с учетом того, что на первых 20 страниц ошибок нет — меньше 15%.

Вот еще есть интересный подход к оценке будущего и будущих решений: Subjective Probability Interval Estimates.Сокращенно SPIES.

Обычно когда надо например оценить дату завершения проекта, прикидывают сроки в случае благоприятного расклада. Ребята с (болезненным) опытом и пониманием, что мы всегда оптимистично оцениваем сроки — прикидывают как благоприятный расклад, так и правдоподобно неблагоприятный.

Подход SPIES улучшает оценки и судя по экспериментам весьма неплохо.
— Сначала разбиваем весь спектр возможных значений на сегменты
— Оцениваем каждый сегмент отдельно
— Исходя из общей таблицы выводим общую оценку.
Такой подход заставляет оценить и учесть каждый исход отдельно

Например мы прикидываем срок выполнения проекта.Мы точно знаем, что срок больше 0 недель и точно меньше 6 недель (точнее вероятность что выполнение затянется больше чем на 6 месяцев так низко, что им можно пренебречь) Составляем сегменты и прописываем каждому сегменту вероятность

— 0-1 недель: 3%
— 1-2: 10%
— 2-3: 50%
— 3-4: 30%
— 4-5: 5%
— 5-6: 2%

Получается, что с вероятностью в 90% (доверительный интервал) проект займет от 1 до 4 недель. И с вероятностью в 80% — 2-4 недели.

Нам сложно оценивать вероятности в их такой форме, поэтому каноничный SPIES предлагает каждому сегменту выдавать не вероятности, а баллы.

При этом не обязательно, чтобы сумма баллов равнялась 100. Также важно, чтобы выбранные баллы отображались визуально все вместе (как графики), изображения помогают нам сравнивать выставленные баллы друг с другом и это помогает нам сделать оценку

Это можно сделать как через специальный готовый инструмент (он правда весьма некрасив): fbm.bgu.ac.il/lab/spies/spie…

Так и в табличке — баллы легко переводятся в проценты (конкретное значение для сегмента поделить на общую сумму баллов).

Подробнее про систему от ее авторов можно почитать вот тут: adaptiveinsights.com/sites/default/… (английский).

Ну и осознание, что все наши убеждения, на базе которых мы принимем решения, вероятностны — сильно сдвигает восприятие.

Для себя я формулирую это в трех пунктах.

I. Мы не можем утверждать, что что-то точно истинно или ложно. Любое убеждение имеет определенную вероятность правдивости.

Мы практически всегда принимаем решения и делаем выводы исходя из неполных данных. Наши убеждения это результат нашего опыта и наблюдений, в которых есть определенная доля случайности. Поэтому мы не можем быть на 100% уверены в правдивости своих убеждений.

Вместо этого полезно думать о них как о чем-то, что справедливо с какой-то вероятностью. Это вероятность может быть большая (“я убежден с очень большой вероятностью, что гомеопатия не работает”) или небольшая (“я думаю, что мой друг А. на меня обижен, но не уверен точно)

Такой образ мышления подчеркивает, что убеждения не являются чем-то конечным и незыблемым—они могут изменяться. Он определяет, что мы всегда принимаем решения и строим убеждения исходя из неполных данных—поэтому эти решения и убеждения подвержены искажениям и могут быть не верны

То есть, резюмируя, нет абсолютных убеждений, не надо думать в терминах “я верю” или “я не верю”. Есть те или иные вероятности правдивости убеждений, то есть “я думаю это более вероятно” или “я думаю это менее вероятно”.

II. Убеждения меняются на основе наблюдаемых свидетельств.
Любой наблюдаемый факт — свидетельство, он сдвигает вероятность правдивости моего убеждения вверх или вниз.

Важно не игнорировать свидетельства, этим мы все часто грешим — любим приписать большую значимость свидетесльству, которое поддерживает любое убеждение и отмахиваемся от свидетельств, которые ему противоречат.

Этого невозможно избежать, можно только замечать и компенсировать. Например радуясь, когда оказался неправ и сменил убеждение. "Ура, моя модель мира стала чуть более точней". Это немного снимает боязнь свидетельств, которые спорят с текущими убеждениями.

Другая важная особенность свидетельства. Оно не может одновременно понижать и повышать вероятность убеждения в зависимости от нашего желания. Объясню.

Допустим в деревне ищут ведьму. В деревне знают — ведьмы обычно злые и желают всем зла. Чуваки с факелами говорят: N. — ведьма, она всем ходит и улыбается и никогда зла не пожелала. Разве нормальные люди так могут? Это специально — МАСКИРОВКА.

Это пример логической ошибки.

Если свидетельство "человек злой" повышает вероятность того, что этот человек — ведьма, то обратное свидетельство "человек добрый" ОБЯЗАНО понижать эту вероятность. Это логика.

Если вы видите, что какое-то свидетельство и его обратная сторона одновременно используются для убеждения в чем-то одном — вас явно или неявно пытаются обмануть.Пример из политики (простите). Если действие N — признак сильной страны, то анти-N — признак слабой страны. Иначе никак

III. Свидетельства бывают сильные и слабые.
Не все свидетельства равны по силе. Проверить силу их легко — но надо немного воображения.

Вы увидели свидетельство. Теперь представьте два мира: в одном ваше убеждение правдиво, а в другом ложно. Насколько в мире где убеждение правдиво свидетельство более вероятно?

Это определяет его силу.

Звучит сложновато. Давайте на примерах.
Вы пришли на работу, а коллега Петя хмурится и не смотрит в вашу сторону (альтернатива — подмигнул и улыбается). Насколько это сильное свидетельство, что он вас ненавидит?

ВЖУХ — создаем в себе симуляцию двух миров.
В первом Петя вас ненавидит. Во втором — нет.
Насколько в мире "злого Пети" его хмурость вероятнее чем в мире "доброго"? Ну не сильно. Люди хмурятся по разным причинам, конечно не только из-за нас. Так что свидетельство слабое.

Кто-то уже узнал — да, это теорема Байеса в бытовом изложении. Если начнете про нее читать, то найдете много статей, которые непонятно как применять в реальной жизни. Выше — простецкий, но не менее рабочий способ.

Казалось бы — причем тут продукт? Разработка продукта это всегда решения в условиях неопределенности и убеждения, которые надо пересматривать. Все эти штуки помогают это делать (мне) чуть эффективней.

Что еще в догонку.
Почитайте про теорию перспектив. Это вляет на наши оценки будущих событий и выбор. Вкратце я описал тут: qetz.al/thought-log/20…

Отличная книга, ОЧЕНЬ рекомендую "Принцип «черного ящика»": litres.ru/metu-sayed/pri…

Как компаньон ей неплохо зайдет книга Superforecasting: litres.ru/d-gardner/duma…

Ну и напоследок поучительная история Игнаца Земмельвейса.
ru.wikipedia.org/wiki/Земмельве…

Чувак понял, что если в больнице мыть руки, то процент заболеваний родильной горячкой резко сокращаются (а это было большой причиной смертей при родах — 10%-50% рейт смертей)

Внедрил у себя — смерти в его больнице упали с 18% до 2.5%
Что сделали остальные доктора?

Остальные доктора стали его травить и смеяться. Никто не поверил. Находили в его работах придирки. Выжили его с работы, называли его публикации — доносом. Чувак бился со всех сил — его не слушали.

Один доктор правда поверил и попробовал мыть руки. Когда у него резко снизилась смертность, он покончил самоубийством. Видимо понимая, что он невольно был причиной многих смертей.

Потом Земмельвейс сбежал из родной страны. В конце-концов его знакомые сфабриковали заключение, заманили в психушку, где его побили санитары. Через две недели он умер от пневмонии.

Лет через 20 микробы наконец открыли и наконец все стали мыть руки.

Поучительная история. Как про неумение менять убеждения, так и про неумение донести новые до других (а Игната не слушали, потому что он был весьма резкий и неприятный молодой человек)

Поэтому когда я думаю про будущие решения и убеждения, на их основе — я часто вспоминаю — а не надо ли нам тут "мыть руки"?
Чего и вам советую.

Такие дела. Мойте руки.