Le thread est long, mais voici la version courte : les résultats de cette étude sont exactement ce à quoi on s'attendrait si l'HCQ avait un effet prophylactique modeste, donc je ne vois pas en quoi c'est un argument pour les anti-HCQ.
Voici un graphique qui illustre ce point, réalisé à partir de mon code de simulation : vous voyez que l'effet observé dans l'étude du NEJM est peu ou prou ce qu'on s'attendrait à observer si l'effet réel de l'HCQ était une réduction du risque de 25% ! 
(Pour cette simulation, j'ai supposé que 20% des gens avec des symptômes font un test PCR, 5% des non-infectés ont des symptômes et 20% des infectés sont asymptomatiques. Spécificité et sensibilité du diagnostic sur symptômes sont inchangés par rapport à avant.)
La puissance statistique du test dans ce scénario n'est que de 20%. Du coup, vu que le résultat est ce qu'on s'attendrait à observer si l'HCQ avait un effet prophylactique modeste, cette étude n'est évidemment pas un argument pour rejeter cette hypothèse !
Ça ne veut pas dire que l'hypothèse est vraie, juste cette étude n'est pas une raison de la rejeter, même si elle n'a pas trouvé un effet statistiquement significatif, car avec une puissance statistique aussi faible ça n'a rien d'étonnant.
Comment se fait-il, si l'effet observé dans l'étude du NEJM est celui qu'on s'attendrait à voir si l'HCQ réduisait le risque de 25%, que l'étude n'ait pas trouvé d'effet statistiquement significatif ? Parce que ce sont 2 choses différentes !
Il est important de comprendre que le fait que l'effet observé ne soit pas statistiquement significatif ne signifie pas qu'il n'y a pas d'effet. Et je ne dis pas ça juste parce que le fait qu'on ait échoué à rejeté l'hypothèse nulle ne démontre pas qu'elle est vraie.
C'est vrai mais ce n'est pas vraiment le point intéressant. Le point intéressant est celui-ci : quand la puissance statistique est faible, même un effet correspondant à l'effet observé attendu si l'effet réel est substantiel peut facilement ne pas être significatif.
Revenons à l'étude du NEJM. Comme nous l'avons vu, si l'HCQ réduisait le risque d'infection de 25%, l'effet observé par l'étude est peu ou prou ce à quoi on s'attendrait. Mais il n'est pas significatif !
Ce graphique illustre pourquoi : avec un échantillon de cette taille et l'erreur de mesure, pour que l'effet observé soit significatif, il aurait fallu qu'il soit nettement plus important que l'effet observé attendu si l'HCQ réduisait le risque de 25% !
Du coup, avec un échantillon de cette taille et cette erreur de mesure, ça n'a rien de surprenant que l'effet ne soit pas significatif et on ne peut pas vraiment en tirer de conclusion.
Voilà pour cette histoire de significativité. Vous avez peut-être aussi remarqué que, alors que je fais l'hypothèse que l'HCQ réduit le risque de 25%, l'effet observé attendu est nettement moins important.
Effectivement, il s'avère que, contrairement à ce que je disais dans mon thread, l'erreur de mesure ne réduit pas seulement la puissance statistique du test mais, en plus de ça, biaise l'estimation de l'effet ! Du coup c'est encore pire que ce que je pensais pour cette étude.
Quand on y réfléchit, il est facile de comprendre pourquoi, mais je n'y avais pas pensé avant de jouer avec ma simulation et de remarquer cet effet. J'expliquerai plus tard pourquoi l'erreur de mesure introduit un biais, mais là je dois y aller !
Ok, je continue ce thread pour expliquer pourquoi l'erreur de mesure due au manque de tests PCR ne fait pas que réduire la puissance statistique mais introduit aussi un biais, même si ça n'a pas l'air d'intéresser grand monde 😅
Commençons par visualiser le biais avec un graphique. La ligne verticale bleue montre l'effet observé attendu dans et celle en rouge montre l'effet réel supposé pour la simulation. Vous voyez que l'effet observé moyen est plus bas que l'effet réel, ce qui implique un biais !
Pourquoi est-ce que, en plus de réduire la puissance statistique du test, l'erreur de mesure biaise l'estimation vers le bas ? Les auteurs de l'étude pense que ce n'est pas le cas parce que le taux de faux positif sera le même dans le groupe traitement et dans le groupe témoin.
Or, même si c'est vrai que le taux de faux positifs sera le même dans les 2 groupes, mais si le traitement marche et réduit le risque d'infection, il y aura moins de non-infectés dans le groupe témoin et donc proportionnellement moins de faux positifs !
De même, si la sensibilité du test est inférieure à 100%, comme il y a proportionnellement plus d'infectés dans le groupe témoin, il y aura aussi proportionnellement plus de faux négatifs, ce qui biaisera l'estimation de l'effet dans le même sens.
Enfin, comme il y a des infectés qui sont asymptomatiques et qu'il y a plus d'infectés dans le groupe témoin, même si le taux d'asymptomatiques est le même dans les 2 groupes, il y aura proportionnellement plus de cas non-détectés dans le groupe témoin.
Supposez qu'il y ait 1 000 personnes dans chaque groupe et que le taux d'attaque soit de 15% dans le groupe témoin et de 10% dans le groupe traitement, c'est-à-dire que l'hydroxychloroquine réduise le risque d'infection d'1/3.
La différence de taux d'attaque attendue entre les groupes est donc égale à 150/1000 - 100/1000 = 5 points de pourcentage. C'est ce qu'on verrai si *tout le monde* faisait un test PCR et que celui-ci était parfaitement fiable.
Mais bien sûr, ce n'est pas le cas. Supposons comme dans ma simulation que seuls 80% des infectés ont des symptômes, que 5% des non-infectés ont des symptômes pouvant faire penser à COVID-19 et qu'en moyenne le diagnostic ait une sensibilité de 90% et une spécificité de 60%.
Dans le groupe témoin, sur les 150 infectés attendus, seuls 80% soit 120 auront des symptômes et seront testés et, sur ces 120, il y aura 10% de faux négatifs soit 12 personnes et donc seuls 108 seront considérés comme positifs.
D'autre part, parmi les 850 personnes qui ne sont pas infectées, il y en aura 5% soit 42.5 en moyenne qui auront des symptômes. Comme la spécificité du test n'est que de 60%, 40% d'entre eux soit 17 seront des faux positifs.
Dans le groupe traitement, sur les 100 infectés attendus, seuls 80% soit 80 auront des symptômes et seront testés et, sur ces 80, il y aura 10% de faux négatifs soit 8 personnes et donc seuls 72 seront considérés comme positifs.
D'autre part, parmi les 900 personnes qui ne sont pas infectées, il y en aura 5% soit 45 en moyenne qui auront des symptômes. Comme la spécificité du test n'est que de 60%, 40% d'entre eux soit 18 seront des faux positifs.
Au total il y aura donc en moyenne 108 + 17 = 125 positifs dans le groupe témoin et 72 + 18 = 90 dans le groupe traitement, d'où un effet de (150*0.8*0.9 + 850*0.05*(1-0.6))/1000 - (100*0.8*0.9 + 900*0.05*(1-0.6))/1000 = 125/1000 - 90/1000 = 3,5 points de pourcentage.
Mais nous avons fait l'hypothèse au départ que l'écart réel était de 5 points de pourcentage, donc on voit que, à cause de l'erreur de mesure, l'effet observé attendu est plus bas et il y a donc un biais !
Par conséquent, non seulement l'erreur de mesure réduit la puissance statistique du test (ce dont les auteurs ne parlent même pas), mais en plus elle biaise l'estimation de l'effet vers le bas, contrairement à ce qu'ils suggèrent dans le passage cité plus haut.
En vérité, comme expliqué plus haut, les résultats de cette étude sont peu ou prou ce à quoi on s'attendrait si l'hydroxychloroquine réduisait le risque d'infection de 20%-25%.
(C'est plus que l'effet observé car, comme je viens de l'expliquer, l'erreur de mesure due au manque de tests PCR biaise l'effet observé vers le bas.)
Certes, l'effet n'est pas statistiquement significatif, mais ça n'a rien de surprenant, car pour un effet de cette taille la probabilité de trouver un effet significatif était probablement de seulement ~20% et certainement pas supérieure à 30%.
Évidemment, ça ne veut pas dire que l'HCQ réduise vraiment le risque de 20%-25%, mais le fait que l'étude n'ait pas trouvé d'effet significatif ne veut *pas* dire que cette étude augmente la probabilité que l'HCQ n'ait pas d'effet, c'est même l'inverse en l'occurrence.
