Bon, j'ai maintenant lu cette étude et, roulement de tambour, c'est encore une merde qui n'apporte rien et n'aurait jamais dû être publiée dans le NEJM et encore moins faire l'objet d'articles de presse avant même sa publication. 1/n
Notez d'abord que l'étude porte sur la question de savoir si l'hydroxychloroquine a un effet prophylactique en protégeant les personnes à risque d'être infectées. 2/n
Ce n'est donc pas la question qui fait l'objet du débat le plus intense, à savoir est-ce que l'hydroxychloroquine a un effet thérapeutique chez les gens déjà malades, mais en soi ce n'est pas grave, c'est aussi une question intéressante. 3/n
Il y aurait pas mal de choses à dire sur le timing de l'intervention et est-ce que ça permet vraiment de tester un effet prophylactique, mais ça n'aurait pas grand intérêt parce que cette étude souffre d'un défaut tellement énorme qu'à côté tout le reste n'a pas d'importance. 4/n
Le problème en question c'est que, en raison du manque de tests à l'époque, l'immense majorité des participants n'ont pas pu être testés par PCR. Parmi ceux qui ont été jugés positifs, l'infection a été confirmée en laboratoire dans moins de 20% des cas 🙃 5/n 
Les autres ont été diagnostiqués comme souffrant de COVID-19 parce qu'ils avaient des symptômes compatibles avec la maladie. Les participants recevaient le traitement par la poste et répondaient à un questionnaire en ligne... 6/n
Or, l'étude a été réalisée en mars, à une époque où il y avait a priori encore plein de grippes et de rhumes, donc l'absence de test PCR dans l'immense majorité des cas a forcément introduit énormément d'erreur de mesure. 7/n
Cette erreur de mesure a pour effet de réduire la puissance statistique du test en noyant tout signal éventuel, donc leur calcul de puissance pour déterminer la taille de l'échantillon dont ils avaient besoin ne vaut rien puisqu'il ne prend pas en compte l'erreur de mesure... 8/n
J'ai fait une petite simulation dans la nuit pour me faire une idée de l'effet que cette erreur de mesure a pu avoir sur la puissance statistique selon les hypothèses qu'on fait sur la taille de l'effet et les autres paramètres. 9/n
J'ai mis le code en ligne sur GitHub pour que vous puissiez essayer vous-même avec différentes hypothèses et vérifier que je n'ai pas fait d'erreur quelque part vu que j'ai fait ça rapidement à 2H du mat. 10/n github.com/phl43/simulati…
Dans le scénario central, je fais les hypothèses suivantes. D'abord, 25% des gens qui ont des symptômes bénéficient d'un test PCR, dont je suppose que la sensitivité et la spécificité sont de 100%, ce qui est bien sûr faux. 11/n
Ensuite, je pars du principe que 30% des gens infectés par SARS-CoV-2 sont asymptomatiques 14 jours après exposition, tandis que 10% des gens qui ne sont pas infectés développent des symptômes qui pourraient être dus à SARS-CoV-2 mais sont en fait causés par autre chose. 12/n
Enfin, je fais l'hypothèse que le diagnostic sur la base des symptômes a une sensitivité de 91% et une spécificité de 55%, chiffres que je tire de cette étude néerlandaise sur la fiabilité du diagnostic basé sur les symptômes. 13/n eurosurveillance.org/content/10.280…
Le script que j'ai écrit simule 10 000 RCTs avec les mêmes tailles d'échantillon que dans l'étude du NEJM et calcule la proportion qui ont trouvé un effet statistiquement significatif. Celle-ci varie évidemment en fonction de la taille de l'effet réel qu'on suppose. 14/n
Si je pars du principe que le taux de base est de 15% et que l'hydroxychloroquine réduit le risque d'infection d'1/3, ce qui est énorme, un effet significatif n'est trouvé que dans 26% des cas. Si on suppose que l'effet n'est "que" de 25%, la puissance est 16%... 15/n
Même si je suppose, toujours avec le même taux de base, que l'hydroxychloroquine réduit le risque de 50%, ce qui est complètement invraisemblable, la puissance n'est que de 56%. Autrement dit on ne trouve un effet significatif que dans à peine plus d'un cas sur deux... 16/n
Je pense que les hypothèses que j'ai faites sont déjà très optimistes, mais par acquit de conscience j'ai essayé avec d'autres combinaisons d'hypothèses et, dans tous les cas, la puissance statistique restait bien en dessous de ce qui est désirable. 17/n
Bref, cette étude ne vaut rien, c'est juste du bruit. Indépendamment des autres problèmes qu'elle peut avoir, l'erreur de mesure due à l'absence de tests PCR abaisse la puissance statistique très loin des 80% habituellement recommandés. 18/n
Je sais déjà que, pour défendre les auteurs et le NEJM, on va me dire que les auteurs ont pris soin de noter les "limitations" de l'étude dans le papier, mais franchement c'est une blague. 19/n
Ils notent en effet comme une "limitation" le manque de tests PCR, mais ne font aucun effort pour estimer les conséquences de l'erreur de mesure que ça introduit et font un calcul de puissance purement théorique et détaché de la réalité. 20/n
Les auteurs et/ou les éditeurs du NEJM ont manifestement contacté la presse pour que les journaux publient des articles sur cette étude avant même que le papier soit publié et qu'on puisse juger de sa qualité. 21/n
La presse s'est bien sûr empressée d'obtempérer puisque, comme Trump a admis prendre de l'hydroxychloroquine à titre prophylactique, c'était l'occasion de lui taper dessus... C'est le cas du NYT et j'ai vu que le Washington Post avait fait de même. 22/n
L'article du NYT mentionne en passant que "tous les participants n'ont pas pu être testés", mais je n'avais jamais imaginé en lisant ça que la proportion était si basse ! 23/n
Bref, encore une fois, c'est un cas d'école en termes de mauvaises pratiques scientifiques et journalistiques, mais bien sûr ni les auteurs de l'étude, ni le NEJM, ni le NYT ou le Post n'en souffriront, parce que tant que ça permet de taper sur Trump ce n'est pas grave 🤷♂️ 24/n
Honnêtement, cette histoire d'hydroxychloroquine devient un gag, je commence à me demander si on aura jamais une étude là-dessus qui n'est pas complètement pourrie... Ce n'est pourtant pas *si* compliqué à faire, mais apparemment personne n'a envie 🙃 25/25
ADDENDUM : Vu qu'on va sans doute citer ce passage en réponse à mon argument, je vais anticiper en notant que le fait que la probabilité de faux positif était sans doute la même dans les 2 groupes, ce qui est plausible, est totalement hors de propos.
Le problème de l'erreur de mesure dans ce cas n'est pas que ça introduit un biais mais que ça réduit la puissance statistique du test ! Est-ce que les auteurs de l'étude ne comprennent pas ça ? Il faut croire que non...
ADDENDUM bis : Comme tout le monde ne connaît pas forcément le langage de programmation R, voici une explication non-technique de ce que j'ai fait. À chaque étape, je simule un groupe traitement et un groupe témoin, la probabilité d'être infecté dans chacun étant déterminée par
l'hypothèse qu'on fait sur le taux de base et la taille de l'effet. Concrètement, je fais un tirage aléatoire dans chaque groupe pour déterminer qui est un vrai positif, avec une probabilité plus importante dans le groupe témoin puisqu'on suppose que l'hydroxychloroquine réduit
le risque. Ensuite, pour chaque vrai positif, je fais un tirage aléatoire pour déterminer s'il a des symptômes. Si ce n'est pas le cas, il est considéré comme négatif. Si c'est le cas, je fais un autre tirage aléatoire pour déterminer s'il bénéficie d'un test PCR ou si le
diagnostic est réalisé uniquement sur la base des symptômes. Dans le premier cas, je fais un dernier tirage aléatoire pour déterminer si le test est positif en fonction de la sensibilité d'un test PCR, dont encore une fois je suppose qu'elle est de 100%. Dans le second cas, je
je fais un tirage aléatoire avec une probabilité égale à la sensibilité d'un diagnostic réalisé sur la base des symptômes. Pour les négatifs, c'est la même chose, mutatis mutandis. Je fais un tirage aléatoire pour déterminer s'ils ont des symptômes pouvant faire penser à
COVID-19. Si ce n'est pas le cas, ils sont considérés comme négatifs. S'ils ont des symptômes, je fais un tirage aléatoire pour déterminer s'ils font un test PCR. Si c'est le cas, je fais un tirage aléatoire pour savoir si le test est positif avec une probabilité égale à
1 - spécificité d'un test PCR. Si ce n'est pas le cas, je fais un tirage aléatoire avec la probabilité 1 - spécificité d'un diagnostic basé uniquement sur les symptômes. Après tout ça, j'obtiens le nombre d'individus ayant été jugés positif dans le groupe traitement et dans le
le groupe témoin, donc il ne me reste plus qu'à utiliser un test de Fisher — celui qu'ils ont utilisé dans l'étude — pour déterminer si l'effet est significatif. Je répète cette simulation 10 000 fois et j'estime la puissance statistique du test en calculant la proportion des
simulations ayant abouti à un résultat statistiquement significatif. Les probabilités de chaque tirage dépendent des hypothèses que l'on fait, mais comme je l'ai dit dans le thread, j'ai essayé plein de combinaisons et la conclusion reste toujours qualitativement identique.
ADDENDUM ter : Pour la centième fois, je n'ai jamais dit que l'hydroxychloroquine avait un quelconque effet et j'ai déjà critiqué Raoult à de multiples reprises, alors arrêtez de me les briser avec ça, ce n'est pas le sujet.
Tout ce que je demande, c'est que des 2 côtés, on arrête de promouvoir des études de merde. Est-ce que c'est vraiment si difficile à concevoir qu'on puisse ne pas être un raoultien mais critiquer les études pourries que les opposants de Raoult utilisent pour taper sur l'HCQ ?
ADDENDUM quater : Il y a des gens qui pensent que mes hypothèses ne sont pas raisonnables, mais comme je l'ai dit dans le thread, j'en ai essayé plein et le résultat reste qualitativement le même. Je vous ai filé le code, donc si vous pensez que vous pouvez obtenir un résultat
différent avec d'autres hypothèses, vous n'avez qu'à essayer ! Mais vous n'y arriverez pas parce que la vérité c'est que, *même si on suppose qu'il n'y a pas d'erreur de mesure*, dans mon scénario central avec une réduction du risque d'1/3, la puissance n'est que de 39%. En
d'autres termes, l'erreur de mesure que je suppose au dessus ne fait "que" passer la puissance statistique de 39% à 26%. Évidemment, c'est un effet très important, mais en fait la puissance serait déjà très basse même si on supposait qu'il n'y avait *aucune* erreur de mesure.
On ne s'en rend pas compte en lisant le papier parce que, comme je l'ai noté plus haut, ils supposent une taille d'effet réel encore plus gigantesque pour leur calcul de puissance et par ailleurs ils n'ont apparemment pas atteint leur cible pour la taille de l'échantillon.
ADDENDUM quinquies : Je n'ai même pas parlé des #NoFakeMed dans ce thread, vu qu'on m'a dit que c'était contre-productif, mais ça n'a pas empêché certains d'entre eux de se pointer pour me sortir leur "argument" préféré.
Je ne sais pas combien de fois j'ai lu "hahaha, tu es un philosophe, donc tu n'y connais rien" ou quelque chose dans ce goût-là de la part des défenseurs auto-proclamés de la "science" au cours des 15 derniers jours, mais c'est un paquet de fois.
Encore une fois, je suis sûr qu'ils ne sont pas tous comme ça, mais je peux vous dire il y en a un paquet qui le sont et ça n'a pas l'air de déranger beaucoup les autres 🤷♂️ Ce mouvement est l'équivalent du raoultisme, mais pour les cons diplômés.
