Thread by @josenalencar

Um investidor da Faria Lima descobriu uma doença rara que acomete 1 a cada 10 mil pessoas! A acurácia do exame é 99,9%.
Qual a probabilidade de ter mesmo a doença?

Não fique triste se respondeu 99,9%. A maioria dos médicos também acha. Mas está errado e eu vou te explicar no fio

A interpretação médica de exames é muito mais complexa do que se faz parecer pela Medicina mecanicista tradicional com seu binômio:
Positivo x Negativo.

Na verdade, a interpretação de cada exame individualmente deve ser:
Verdadeiro e falso positivo x verdadeiro e falso negativo.

Essa interpretação entre exames verdadeiros ou falsos em Medicina é um dos pilares da atuação médica (e de profissionais da saúde em geral).
Só que, por incrível que pareça, não é ensinada corretamente pelo currículo médico atual da maioria das universidades brasileiras.

Veja, por exemplo, essa enquete realizada pela turma do Meu Staff no Instagram:
Nela, 40% dos médicos e estudantes de Medicina responderam o mais óbvio e superestimado: 99,9%. Apenas 14% acertou.

E essa inabilidade para interpretar exames não é exclusiva da Medicina brasileira.

Em 2006, em uma aula sobre raciocínio lógico, Gigerenzer perguntou a 160 ginecologistas qual a probabilidade de uma mulher com mamografia positiva para câncer de mama ter mesmo câncer de mama.

Taxa de acerto de 21%.
Naquela ocasião, 47% dos especialistas superestimaram o exame.

De fato, o exame do nosso investidor tinha acurácia de 99,9%. Significava que ele detectava corretamente 99,9% dos doentes (a isso se dá o nome de sensibilidade) e também 99,9% dos sadios (a isso se dá o nome de especificidade).

Olhe no diagrama a seguir.

Um problema do raciocínio médico mecanicista e não baseado em evidências é achar que sensibilidade de 99,9% significa que há 99,9% de taxa de acerto caso o exame seja positivo.

Sensibilidade de 99,9% é uma taxa de acerto de 99,9% quando avaliamos APENAS OS DOENTES.

E no caso do nosso investidor, nós não sabemos nada além do fato de que ano passado ele certamente perdeu para a SELIC.

Não sabemos se ele é doente ou não, foi por isso que o exame foi feito: para descobrir.
Aliás, quase sempre é assim em nossa profissão, ou não?

E pra descobrir a probabilidade de ele ser doente ou não ANTES do exame, usamos a probabilidade pré-teste ou a prevalência da doença na população a que o paciente pertence.

Esse dado estava presente no primeiro tweet: 1 em 10 mil, ou 0,01%. Vamos ao diagrama.

A cada 1 milhão de pessoas, 100 são doentes e o restante sadios. Agora (e apenas agora) posso usar a sensibilidade e especificidade conforme definição delas.

99,% de 100 doentes é 99,9.
99,9% de 999900 sadios é 998900.
É simples multiplicação.

E agora vem a pergunta crucial: dado que o exame do nosso destemido investidor foi positivo, ele foi verdadeiro ou falso?

Perceba que, só de olhar, já se percebe uma chance muito maior de ele ter caído nos falsos.

Basta fazer uma simples proporção dos verdadeiros positivos com todos os positivos. VP / VP + FP. Isso dá 9%.

A probabilidade de ele ter mesmo a doença tendo esse super exame positivo é de apenas 9%. Um exame 99,9% acurado.
Bem vindo ao mundo real.

Daniel Kahneman, em seu livro Rápido e Devagar, faz diversas menções ao raciocínio aplicado neste tweet: o raciocínio bayesiano (“slow”).

A diferença dele para o raciocínio rápido e mecanicista é que, aqui, corretamente, usamos a probabilidade pré-teste na fórmula.

Um dos exemplos dados por Kahneman em seu livro é o de uma testemunha que viu um taxi azul atropelar uma pessoa.

Dado que 15% dos taxis são azuis e, nas circunstâncias daquela noite, a testemunha identificou corretamente 80% das cores, a probabilidade de ser azul é de 41%.

O raciocínio bayesiano (o raciocínio lento proposto por Kahneman) está em várias áreas das nossas vidas (desde justiça criminal até Medicina) e é proveniente do teorema de Bayes, que foi simplificado no livro Manual de Medicina Baseada em Evidências.

O jovem médico precisa entender urgentemente que sem raciocínio bayesiano, ele vai errar a interpretação de TODOS OS EXAMES que ler na vida.
Não é que ele vai errar de maneira binária, mas vai errar a estimativa da probabilidade, superestimando ou subestimando em muitos pacientes

Em vários posts, expliquei o raciocínio bayesiano e formas de usá-lo de maneira rotineira. Em meu livro, explico os pormenores da sua fórmula.
Uma maneira fácil de usar é com o site calculator.testingwisely.com

Agora que a probabilidade do paciente ter a doença é de 9,08%, devemos repetir o mesmo exame (o raciocínio bayesiano se retroalimenta). Se for positivo de novo, aplicando a mesma fórmula, passamos a ter uma probabilidade de 99,01% de ele ter a doença - agora sim estará confirmada