Thread by @josenalencar

Vamos mergulhar ainda mais fundo no mar das incertezas da Medicina?

Talvez você precise saber que muito do que os médicos fazem hoje é baseado em fake ou junk science. Segue o fio.

Fora o problema dos excessivos falsos diagnósticos baseados em probabilidades pré-teste baixas (por exemplo, usar o valor isolado do d-dímero pra guiar condutas em COVID), podemos usar esse pensamento Bayesiano também na interpretação dos estudos. Como?

O teorema de Bayes é uma maneira de analisar um achado científico sob a luz da sua probabilidade pré-teste. Para isso, precisamos elaborar um raciocínio que começa em saber que estudos são desenhados para evitar os erros tipo 1 e 2, isto é, evitar falsos-positivos e negativos.

Normalmente, aceitamos uma taxa de falso-negativo de 20% (power de 80%). E uma taxa de falso-positivo de 5% (p < 0.05). Com base nesses números elaboramos o tamanho da amostra necessária em uma pesquisa.

O valor de p, uma frequente casca de banana para leitores de abstract, é a probabilidade de aquele achado, com os dados daquela pesquisa, ter sido fruto do acaso. Em Medicina, aceitamos um p máximo de 5% (0.05). O valor de p máximo para um achado em Física é de 0.0000003.

O problema não é apenas que somos menos exigentes que os físicos, mas que não aplicamos o pensamento Bayesiano simples. Por exemplo: qual a chance de um estudo no lago Ness que comprova a existência do monstro com p < 5% ser verdadeiro?
Alguns diriam que > 95%. Mas vamos pensar..

Assumindo que os pesquisadores usaram power 80% (convencional) e uma amostra adequada de dados, elaborando uma probabilidade pré-teste de 5% com p de 5%, a chance de aquele resultado positivo ser verdadeiro é de 11%. Em outras palavras, há 89% de chance do estudo ser falso.

Isso sem contar o peso que os vieses trazem a uma pesquisa. Quanto mais controlada a pesquisa, menor a chance de vieses e maior o valor preditivo do achado da pesquisa. A clássica revisão “Why most published research findings are false" de John Ioannidis, resume esse pensamento.

Observe os valores de um estudo observacional bem feito (peso de viés, u, de 30%) com probabilidades pré-teste baixa (R) (sétima linha da tabela). Chance matemática do resultado ser falso: 80%. É por isso que não confiamos nas dezenas de estudos observacionais com Cloroquina.

Resumindo, para que um resultado de pesquisa seja verdadeiro, precisa:
- de uma probabilidade pré-teste alta (nada de monstro do lago Ness ou remédio de piolho para COVID);
- De um power, p e amostra adequados.
- Poucos vieses (em Medicina, são os ensaios clínicos).

As consequências da falta do pensamento bayesiano são sentidas tanto na sociedade, como entre médicos.

- Sociedade: Reportagem "estudo de Oxford demonstra que frango aumenta câncer” são, provavelmente falsas porque inexiste estudo controlado com consumo de frangos.

Os cientistas que publicaram a pesquisa do consumo de frango e aumento de câncer provavelmente sabem que esse resultado é falso. E talvez não tiveram má índole na publicação. Talvez tenham escrito: “nossos achados são provavelmente falsos". Mas isso não traz cliques e publicidade

- Médicos: são predispostos a aceitar achados de pesquisas observacionais como verdadeiros, como vemos quando alguém graduado em Medicina usa o argumento: “há dezenas de estudos que comprovam o uso da Cloroquina no coronavírus, é só ver o site c19study.com”.

- Também Médicos: não sabem interpretar os estudos, mesmo ensaios clínicos, sob a luz dos seus vieses e pensamento bayesiano. Aceitando hipóteses ruins (baixa probabilidade pré-teste) como anticoagular alguém baseado em um número e estudos enviesados como os da trombólise no AVC.

No caso da Cloroquina, especificamente, além da baixa qualidade dos estudos observacionais publicados (taxa de vieses, u, provavelmente mais alta que a estimada por Ioannidis na linha 7 da tabela), temos a falta de coerência entre as pesquisas: há estudos positivos e negativos.