Thread by @adbacchi

Tô cansado de ver uma galera aí (incluindo médicos e outros profissionais da saúde), compartilhando o tal c19study.com e derivados como ivmmeta.com como "prova" que tratamento precoce com hidroxicloroquina e ivermectina funcionam.

Segue o fio pra entender.

Outro dia ouvi de alguém que esses sites sim eram "ciência de verdade" e que mostravam o resultado de boas "metanálises".
Uma metanálise é a "análise de várias análises", ou seja, é uma forma de analisar dados de vários estudos e conjunto, para extrair uma conclusão geral.

Só que existe método para isso ser feito. A metanálise é um recurso estatístico que está compreendido no campo das revisões sistemáticas. Ou seja, da mesma forma que uma revisão sistemática, precisa registrar o protocolo, estabelecer critérios de inclusão dos estudos etc...

Daria aqui pra fazer inúmeras críticas a esses sites, a começar pelo fato de ser um site anônimo. Sobre a parte técnica temos diversas questões: combinar dados que nem poderiam ser combinados, misturar diferentes desfechos, multiplicações pueris do valor de p, uso de pre-prints.

Mas uma das coisas que mais me incomodou foi o argumento de que esse "estudo" seria o mais imparcial e justo pois usou TODOS os ensaios clínicos (e artigos) com ivermectina e cloroquina disponíveis, ao contrário de outros estudos "tendenciosos" que "selecionaram" artigos...

O site traz: "To avoid bias in the selection of studies, we include all studies in the main analysis. " Tradução: "bota todos estudos lá, sem critério nenhum"
Tem gente fazendo confusãozinha entre "cherry picking" e critério de inclusão de artigo em revisão sistemática/metanálise

Cherry Picking: ficar escolhendo artigos que interessam apenas porque os resultados do estudo confirmam seu argumento - isso é péssimo.
Critério de inclusão: estabelecer critérios rigorosos a priori, para incluir na análise apenas estudos com boa qualidade - isso é fundamental.

Esses sites não estabeleceram critérios de inclusão, com a justificativa de que seria mais justo. É um argumento que soa coerente. Mas olha só: quanto menos rigoroso o estudo, maior a tendência em se obter resultados positivos. E a maioria dos ensaios clínicos tem baixo rigor.

Sendo assim, paradoxalmente, ao incluir todos os estudos sem critério, para ser imparcial, a análise passa a ser altamente enviesada e parcial, pois grande parte desses estudos possuem alto risco de vieses e estão ali apenas distorcendo as análises.

Esses sites NÃO SÃO metanálises. É um monte de "continha" com resultado bonito mas que não dizem absolutamente nada. Não à toa, praticamente tudo que analisam acaba tendo resultado positivo, de zinco a remédio pra piolho. Enquanto isso países colhem resultados com as vacinas...