Thread by @josenalencar

Imagine que você é convidado a participar como voluntário em um estudo científico sobre uma nova droga e, por alguma razão (em geral, fama ou dinheiro) os pesquisadores têm interesse em fazer esse remédio “dar certo”.

Um fio sobre o viés de alocação e sobre pensamento crítico.

Se fala aos quatro ventos que o padrão ouro da ciência é o estudo duplo-cego, randomizado, placebo-controlado.
O que não se fala é que não basta esse estudo existir que automaticamente deve ser aceito pela comunidade médica.
Ele precisa passar por avaliações metodológicas

Ser duplo-cego e randomizado significa que nem a equipe médica nem os pacientes sabem a que braço do estudo o paciente será alocado. Isso é feito para evitar subjetividades no processo, como a que eu citei no primeiro tweet.

Agora eu pergunto: você acredita em tudo que falam?

É que se um pesquisador quer fraudar um resultado, é óbvio que não vai escrever no artigo “oi gente, fraudei aqui”.
E como alguém pode fraudar um estudo?
De várias maneiras, entre elas, a mais fácil, é simplesmente não fazer cegamento ou randomização alguma, mas escrever que fez

Há maneiras mais rebuscadas, por exemplo:
Se um pesquisador sabe para qual grupo o próximo paciente inscrito irá ser alocado (mesmo que o restante da equipe não saiba), ele pode recusar pacientes que julgue que o resultado será diferente da narrativa que ele propõe.

O pesquisador pode dizer que deixou os pacientes cegos, mas entrega a eles um envelope meio transparente ou de fácil abertura.

Em resumo, há muitas maneiras de fraudar ou acabar tendo inconvenientes nesse cegamento.

E essa fraude (ou erro, quando é não intencional), conhecido como viés de alocação, pode enviesar fortemente o resultado dos estudos científicos que você lê.

Essa figura mostra o que pode ocorrer se houver más intenções no processo.

Como disse, o pesquisador não será ingênuo a ponto de escrever no seu artigo ou confessar em suas redes que fraudou o estudo.

Mas há maneiras de desconfiar disso.
1. Quanto maior o interesse financeiro e político, maiores as chances de o resultado de um estudo ser falso.

2. Quanto mais quente o tema, maiores as chances do resultado ser falso.
Isso é meio óbvio, sim? Nem acredito que eu preciso explicar isso. E também não preciso apontar que estou falando de “chance”, não de algo determinista.
Dá pra ganhar muito dinheiro enganando o povo.

3. Quanto mais milagroso soar o efeito, maiores as chances de ser falso.
Para resultados extraordinários, exigimos evidências extraordinárias. Ou, de novo, você acredita em tudo o que te falam?

4. Quanto mais “tirado da cartola” (ou seja, menos plausível e coerente) um mecanismo proposto para que um fármaco funcione, maiores as chances de ser falso.

De novo, “chance”. Mecanismos desconhecidos podem funcionar e mecanismos que julgamos bem conhecidos podem decepcionar.

Entendeu por que desprezo charlatões que perguntam “mas o estudo duplo cego não era o que você queria?”, esquecendo propositalmente que pode haver fraudes e até erros não intencionais no processo?

É por isso que eu sugiro que você comece a fazer o mesmo.