Fio da crise da #replicação:
Já ouviu que sorrir mecanicamente te faz sentir melhor? Ou que adotar postura "de poder" melhora autoconfiança? São 2 dos vários resultados que fralharam em ser replicados. A psicologia passou por uma crise de replicação de resultados de 2015 pra cá.
Já ouviu que sorrir mecanicamente te faz sentir melhor? Ou que adotar postura "de poder" melhora autoconfiança? São 2 dos vários resultados que fralharam em ser replicados. A psicologia passou por uma crise de replicação de resultados de 2015 pra cá.
Segundo a Dra. Dorothy Bishop, de Oxford, a miríade de resultados de baixa qualidade que fracassam na replicação na psicologia e demais áreas biomédicas advêm de quatro principais motivos, que ela chama de os Quatro Cavaleiros do Apocalipse (do fracasso das replicações).
1 - Viés da literatura. Pesquisadores são menos propensos a publicar resultados negativos e os consideram fracassos. Em linguajar estatístico, são aqueles experimentos em que se conclui a favor da "hipótese nula" (que não faz diferença dar certo medicamento, por exemplo).
Assim, há uma tendenciosidade a publicar somente aqueles estudos em que houve um resultado "positivo", ou seja, que tenha rejeitado a hipótese nula, abortando em estágio embrionário os estudos que contêm resultados contrários. Portanto, dando falsa impressão.
2 - Baixo poder estatístico (ou sensibilidade): este problema vem principalmente de amostras pequenas demais para detectar um fenômeno, mesmo que ele esteja ali. É um desperdício de recursos conduzir estudos com amostra pequena. Até na minha área, genética, isso acontecia.
Pesquisadores precisam aprender a unir esforços para conduzir estudos grandes com amostras suficientes para dar um bom poder estatístico. Aqui, há um problema de decisão coletiva. A carreira acadêmica é muito competitiva, e esse tipo de estudo requer mais cooperação.
3 - "P-hacking". Para este sugiro a tradução "p-rataria" ou "perataria". Há um valor p para a probabilidade de a hipótese nula ser verdadeira de acordo com os dados amostrais. Este p deve estar, por convenção, abaixo de um valor de 5%. Não é tão difícil conseguir isso.
Um valor p abaixo de 5% é chamado de "estatisticamente significativo". Mas, se o efeito que se está querendo provar não existe, um resultado positivo poderá ser encontrado em quase uma a cada 20 tentativas. É isso que se chama popularmente de torturar os dados até que confessem.
4 - O quarto "cavaleiro do fracasso da replicação" é relacionado ao terceiro: é chamado de "HARKing" (da sigla para Hipotetizar Após os Resultados serem Conhecidos). Em vez de seguir o passo clássico de formular a hipótese antes de testá-la nos dados, viram o processo ao avesso.
Pegam os dados, testam trocentas coisas, acham os tais valores p "significativos" e só após isso formulam alguma hipótese que explique o resultado encontrado. Isso lembra aquela velha estratégia de criacionistas que já têm a conclusão pronta antes de colher os dados. 
Para referências e mais detalhes sobre soluções para a crise da replicação na psicologia e ciências biométicas, vejam o artigo da Dra. Bishop. nature.com/articles/d4158…
biomédicas*
