Thread by @ISlovan

"Bon d'accord, l'étude JAMA sur le covid long est biaisée, comme toute étude, mais elle montre tout de même un élément intéressant. Ceux qui disent qu'elle est viciée, ce sont les associations de patients, mais c'est normal, elles refusent par dogmatisme la piste psy".
Thread 👇

La première raison pour laquelle les associations de patients dénoncent l'étude, c'est simplement parce qu'elle contient... une erreur rédhibitoire.

Un biais math. pire que le biais "temps immortel" qu'on retrouve dans les publications de Didier Raoult.
Ici, cela s'appelle
2/n

un biais de classification différentielle.
Mais qu'est-ce que c'est que ce truc-là et en quoi ce n'est pas juste un biais, mais une erreur méthodologique ?
Est-ce que les auteurs de l'étude ont répondu aux critiques énonçant cette erreur ? Peut-on l'expliquer aux patients,
3/n

aux médecins, aux journalistes scientifiques qui couvrent le sujet, tous concernés si l'étude est viciée ? @sfoucart @pascale_santi @lomangin @Curiolog @Barbusceptique
@DavidPujadas @grafffio @VirginieCresci @philpaj @detourdumonde @polriKr @psolere @vincentglad @dr_l_alexandre

Question subsidiaire : les arguments des experts qui ont dénoncé l'étude sont-ils si solides que cela, leur travail a-t-il été revu par des pairs ?
La réponse est désormais que JAMA a validé un commentaire pointant cette erreur de classification différentielle, ici 👇
5/n

"Les auteurs vont répondre". Eh bien, nous attendons tous leurs réponses, puisque cet énorme problème de l'étude, les associations de patients l'ont déjà signalé aux auteurs de l'étude par écrit, il y a plus d'un mois déjà.

Et sans utiliser le terme biais de classification,
6/n

l'expert en analyse critique d'études Francis P. WILSON (@fperrywilson) le signalait déjà sur la revue médicale en ligne Medscape, dès novembre 👇
medscape.com/viewarticle/96…
7/n

L'explication repose sur le terme un peu barbare de "valeur prédictive positive". La "VPP".
Dans le cas de l'étude, c'est la *probabilité qu'un individu qui a une sérologie positive ait été infecté*.
Voici une notice sur ce sujet :
fr.wikipedia.org/wiki/Valeur_pr…
8/n

Mais alors, quel est le problème avec cette VPP ? Eh bien, les auteurs ont fait une erreur pour la calculer, ils ont oublié que la VPP dépend de la prévalence de la maladie dans une population donnée.
9/n

Ici dans ce thread, Alban explique précisément pourquoi cette erreur amène à une méthodologie totalement fausse, pas juste "biaisée".

https://twitter.com/AlbanSciences/status/1479858568224546822?s=20

10/n

Est-il possible que les auteurs de l'étude n'aient pas compris que la VPP dans leur étude n'était que de 39,7% ?
Est-il possible qu'une telle erreur soit passée au travers du peer-reviewing, dsns une revue aussi prestigieuse que JAMA ?
Est-ce normal ?
11/n

Est-ce possible : oui.
L'auteur de l'étude a lui-même reconnu avoir oublié de prendre en compte la bonne valeur de VPP, et donc oublié de prendre en compte les "faux positifs" (pourcentage de ceux dont le test sérologique est positif à tort) 👇
"not discussed in our article"
12/n

Est-ce normal qu'une telle erreur passe le peer-reviewing ?
Je ne suis pas à même de répondre à la question.
Peut-être faudrait-il que les médias interrogent JAMA Internal Medicine pour comprendre comment une telle bourde a pu passer.
13/n

Mais l'auteur ne répond-il pas au problème, en disant, "ok, certes, mais ça marche quand même et la conclusion reste valide" ?
Ici 👇?
14/n

Ben non, pas du tout.
D'abord, l'auteur dans son commentaire ne parvient toujours pas à calculer la bonne VPP, qui est de 39,7% et non de 59%.
Ensuite, et c'est l'argument qu'il a utilisé avec tous les journalistes, il brandit un rapport x100 pour appuyer le fait que
15/n

la sérologie permet toujours de distinguer les sous-groupes plus infectés.
Sauf que ce rapport est justement inapplicable dans les sous-groupes de l'étude à cause du biais de classification. Et c'est justement ce qu'explique Esther Rodriguez dans son commentaire publié le 4 jan.

"Mais l'auteur n'a-t-il pas dit à certains journalistes que le tableau 7 de l'étude confirmait que la conclusion était, malgré tout, valable" ?
Il l'a dit, sauf que cet argument est mathématiquement faux.
Le tableau 7 est tout autant concerné par le biais de classification.
17/n

Comme l'indique le commentaire cité au dessus et que JAMA a publié, le biais de classification s'applique aux "model 3 and following".
18/n

La conclusion est non valide ?
La conclusion est non seulement basée sur une méthodologie qui contient une erreur rédhibitoire, mais les données de l'étude permettent de montrer que la conclusion aurait dû être exactement l'inverse de celle que les auteurs ont avancée.
19/n

D'abord parce que le tableau 2 montre bel et bien une association entre la sérologie et une multitude de symptômes persistants.
Et les auteurs le reconnaissent dans l'étude ! 👇
“a positive serology test result was associated with 10 categories of persistent symptoms”.
20/n

Mais les auteurs disent que cela n'apparaît plus dans les modèles 3 et suivants (sur lesquels un ajustement statistique a été appliqué).
... ce qui était parfaitement attendu à cause de la mauvaise classification. 🤷‍♂️
21/n

De plus, on voit que l'anosmie, symptôme le plus distinctif du covid, est bel et bien associé statistiquemt aux autres symptômes.
Enfin, comme les 2/3 des patients qui pensent avoir été infectés en ont eu confirmation par un médecin ou un test, comme publié dans ce commentaire👇

... et qu'il n'y a que 40% de vrais infectés sur les sérologies positives (cf calcul de la VPP), on peut affirmer de façon forte qu'il y a beaucoup plus de personnes infectées chez ceux qui croient avoir eu le covid, que chez ceux qui ont un test positif dans l'étude.
Oups.
23/n

Ce qui fait 3 preuves 𝗶𝗻𝗱𝗲́𝗽𝗲𝗻𝗱𝗮𝗻𝘁𝗲𝘀 (1/ anosmie, 2/ 40%, 3/ mauvaise classification avec un taux de faux positifs et de faux négatifs très élevé dans les sous-groupes considérés) que ce que les auteurs appellent la "croyance" dans la cohorte étudiée, est
24/n

en réalité plus fiable que les tests sérologiques.

Cette étude, qui a fait la une des médias, possédait des données qui auraient dû amener à l'exact opposé de ce que les auteurs ont écrit... s'ils n'avaient pas fait ces erreurs statistiques et mathématiques.
25/n

Cette étude a des impacts sur la prise en charge des malades. Si ses conclusions sont inversées, alors il est du devoir des auteurs et du journal JAMA de corriger ces erreurs.
26/n

L'enjeu en santé public est important, et ne peut pas dépendre d'une 𝘷𝘢𝘭𝘦𝘶𝘳 𝘱𝘳𝘦́𝘥𝘪𝘤𝘵𝘪𝘷𝘦 𝘱𝘰𝘴𝘪𝘵𝘪𝘷𝘦 erronée qui est passée à travers les mailles du filet de la revue par les pairs, dans la revue JAMA, si ?
27/n

Et si on ajoute des pourcentages mal calculés, des nombre globaux de cohorte qui changent d'un tableau à l'autre, n'est-il pas normal d'avoir des réponses à ce sujet ?
En effet, les erreurs de calcul ne se sont pas arrêtées là...
28/n

En voici d'autres, signalées par le spécialiste en débunkage d'études Nicholas Brown, sur Pubpeer :
pubpeer.com/publications/0…
29/n

Ici en jaune 👇, tous les pourcentages où il suffisait de faire simplement une division, mais où les auteurs ont réussi à mettre une mauvaise valeur.
Palme d'or pour la première colonne où le nombre 463 donne une fois 2,0%, et la deuxième fois 1,8%. 🧐

30/n

Il apparaît normal que les corrections soient effectuées sans délai.
Et s'il n'y a rien pour sauver l'étude, une rétractation semble l'aboutissement incontournable, non ?

Il ne s'agit pas ici de dire que les facteurs psy peuvent ou non entrer en jeu dans le covid long, ou
31/n

ce que d'autres études appellent le "syndrome post covid-aigu" (PACS en anglais).

Il s'agit simplement de dire que les patients sont en droit d'exiger que les études qui impactent la compréhension de ce sujet, et a fortiori qui impactent leur prise en charge médicale,
32/n

aient un minimum de sérieux scientifique.
Il en va de la responsabilité des auteurs, et des institutions qui ont financé cette étude.
@InsermIDF @agenceANRS @Sante_Gouv @HAS_sante @Insermu1266 @olivierveran @yazdanpanah_y @GilbertDeray @PatrickPelloux @FLAHAULT @apresj20
[fin]