Thread by @ISlovan

Beaucoup d'appels au standard pour nous demander des précisions sur cette saga étude française JAMA Covid Long, avec Le Monde il y a 15 jours, pleine d'enjeux de pouvoir et de cascades à ne pas reproduire chez vous. [thread] Collab. @AlbanSciences 🧵👇
#FlawedJAMAStudy #ApresJ20

A la suite de ce thread des questions ont été soulevées.
- Les auteurs ont-ils donné des réponses cohérentes aux commentaires publiés dans JAMA ?
- Leurs arguments varient-ils au fil des réponses ?
- Quid du modèle "3 variables" que le Dr Lemogne présente

https://twitter.com/ISlovan/status/1577455561096200192?s=20&t=e36z_jdFfVn9G3Xe4O1KLg

en réponse au Dr. Larché ?
- @fperrywilson Pr à Yale fait-il des "grossières erreurs" comme le dit l'auteur de l'étude (interview Le Monde), ou bien a-t-il tiré le fil de la bonne bobine qui mène quelques mois plus tard à une découverte stupéfiante sur la déontologie de l'étude ?

Warning! Ce thread va être long, mais une page de résumé sera disponible tout à la fin.
Il s'agit d'une étude qui est toujours brandie par des médecins pour refuser une ALD, une reconnaissance de maladie professionnelle, au profit d'une "tout-psychosomatisation" du Covid long.

Dès sa sortie, le papier avait déjà été largement débunké pour des erreurs de données et un problème méthodologique majeur : la spécificité des tests sérologiques, systématiquement contrôlée dans une étude épidémiologique, n’est ici pas prise en compte.

Pire, les conclusions deviennent invalides, et même s’inversent, quand elle est considérée.
La semaine dernière, vous avez pu découvrir le protocole de l’étude, et beaucoup d’entre vous ont réagi avec un "𝘤̧𝘢 𝘧𝘳𝘪𝘴𝘦 𝘭𝘢 𝘧𝘳𝘢𝘶𝘥𝘦”.

https://twitter.com/AlbanSciences/status/1580677560740241408?s=20&t=e36z_jdFfVn9G3Xe4O1KLg

En ayant directement influencé les réponses des participants à l’aide d’un second test décrit comme “100% 𝘧𝘪𝘢𝘣𝘭𝘦”, puis en omettant cette information, l’étude donne 𝘂𝗻𝗲 𝗿𝗲𝗽𝗿𝗲́𝘀𝗲𝗻𝘁𝗮𝘁𝗶𝗼𝗻 𝗳𝗮𝘂𝘀𝘀𝗲́𝗲 des déclarations des participants de la cohorte.

En effet, toutes les personnes qui ne pensent pas être contaminées après avoir reçu leur second test négatif (dit “SN”), sont comptées comme “personne 𝗾𝘂𝗶 𝗰𝗿𝗼𝗶𝘁 𝗮̀ 𝘁𝗼𝗿𝘁 ne pas avoir été infectées”. Ce déroulé laisse apparaître un problème de probité scientifique,

qui va au-delà d’une étude mal fichue.
Nous revenons donc sur l’aspect méthodologique et discute et l’impact de ces tests additionnels sur les résultats de l’étude. En réalité, c’est un point abordé dans le commentaire #19 de PubPeer qui déconstruit (de façon succincte) l’idée

que les résultats du modèle final (le n°3) resteraient valables malgré tout.
pubpeer.com/publications/0…

Reprenons quelques bases : un résultat n’est considéré scientifiquement valide que s’il est obtenu même dans le scénario le plus défavorable (avec une marge statistique standard, usuellement 5%). C’est l’exigence minimale pour être publié.

Comme nous l'a confirmé un professeur universitaire français d’épidémiologie, la démarche consiste dans ce type d’étude à évaluer le nombre de tests faux positifs/faux négatifs, puis d’ajuster les données en conséquence.

Les auteurs auraient dû le faire, mais ne l’ont pas fait. Nous allons donc le faire à leur place.

Les données de l’étude montrent que 60% des tests positifs s’avèrent être des faux positifs :

https://twitter.com/AlbanSciences/status/1479860566709739521?s=20&t=NtcjuHNFEGrLVmLdiNC7Mg

, ce qui jette d’emblée un doute certain sur les résultats de l’étude.

Pour rappel, c’est justement pour l'identification des faux positifs qu’ont surgi les seconds tests omis par les auteurs : quelle drôle de coïncidence ! Les 2 problèmes déontologique et méthodologique sont en fait liés.

Sans jamais calculer les résultats ajustés des faux positifs, les auteurs n’ont cessé de répondre dans les commentaires et les médias que, bien qu’imparfaite, la sérologie permet malgré tout d'identifier “à l'échelle populationnelle” des éléments liés à l’infection.

En effet, la proportion de participants infectés reste malgré tout plus grande parmi ceux qui ont eu un test sérologique positif.

D’ailleurs dans le papier la sérologie est étudiée dans le modèle 2, et il est montré que 10 symptômes prolongés sont associés.

Mais visiblement les auteurs n’ont pas compris que leur argument n’a plus aucune valeur lorsqu’on considère le modèle final (le 3) sur lequel les conclusions reposent.

C’est un modèle par ajustement mutuel, qui entend démêler la part du test sérologique positif,

et celle d’une déclaration d’infection, dans le risque de présenter des symptômes prolongés. Le problème central est que les déclarations d’infection ont évidemment un lien avec les infections, comme les tests sérologiques positifs.

Les symptômes de l’infection seront donc associés aux deux paramètres dans ce modèle. Par contre la force des associations dépendra de la capacité relative de chaque 𝗳𝗮𝗰𝘁𝗲𝘂𝗿 𝗮̀ 𝗶𝗱𝗲𝗻𝘁𝗶𝗳𝗶𝗲𝗿 𝗹'𝗶𝗻𝗳𝗲𝗰𝘁𝗶𝗼𝗻.

Et si un facteur est moins performant que l’autre, les associations seront plus faibles, voire peuvent ne plus être statistiquement significatives. C’est là que les limites de la sérologie deviennent problématiques. En comparaison aux 60% de faux résultats sérologiques positifs,

la déclaration serait liée à une proportion nettement plus grande d’infections. C’est que que démontrent les commentaires, avec plusieurs arguments indépendants :

- biais de classification différentielle des faux positifs (principalement parmi ceux qui ne déclarent pas d’infection) et faux négatifs (principalement parmi ceux qui déclarent une infection) (Rodriguez, comm. JAMA).

- Les deux-tiers des déclarations sont justifiées par des tests/diagnostics médicaux (Brown, comm. JAMA).

- La proportion d’anosmie (perte d’odorat, symptôme spécifique au covid) est 1,5 fois plus élevée avec une infection déclarée plutôt qu’avec un test sérologique positif (Iasonidou, comm. JAMA). Ce à quoi les auteurs répondent (dans un anglais impeccable) :

“However, the fact that anosmia has been widely portrayed as a “hallmark of COVID-19 infection” may explain why most participants experiencing this symptom may think they have had COVID-19, regardless of test results”.

Mais les données de l’étude montrent l’inverse de ce qu’ils avancent : 56% des participants avec une anosmie déclarent ne pas avoir été infectés.

Cette analyse permet bien de comprendre pourquoi le risque accru de développer des symptômes prolongés associés à la déclaration, serait bien une conséquence de l’infection, et non de la “croyance/déclaration” d’avoir été infecté.

La Dr Iasonidou va d’ailleurs plus loin dans la fin de son commentaire JAMA : elle montre qu’il y a une anomalie statistique qui contredit directement la conclusion de l’étude. En effet, les données du modèle 7 de l’annexe de l’étude montre qu’il y a trop de symptômes

avec un risque relatif supérieur à 1 pour que cela puisse statistiquement être le fruit du hasard.

Encore une fois, la réponse de l’auteur élude le point en répondant dans un premier temps que c’est vrai (“we agree”), mais que ces participants sont probablement des personnes qui ont eu un diagnostic hors parcours hospitalier… ce qui n’invalide absolument en rien l’argument !

Les auteurs vont utiliser un mantra dans leurs réponses : “Should persistent symptoms be merely linked to past infection, they would be associated with both factors after mutual adjustment. This pattern was observed only for anosmia.”

Cette réponse traduit au contraire une méconnaissance des principes statistiques.
Bien que des symptômes prolongés de l’infection soient associés aux deux paramètres, il est facile d’expliquer pourquoi la sérologie ne capte plus que la perte d’odorat.

Il s’agit d’un effet de sa faiblesse relative en tant qu’indicateur d’une infection : dans ce modèle d’ajustement mutuel, tous les risques relatifs de symptômes sont réduits de façon drastique par rapport au modèle de la sérologie seule.

Pour le confirmer, il suffit de regarder le risque relatif de la perte d’odorat, symptôme le plus spécifique au covid (le second est déjà 4 fois moins fréquent), qui passe de 15 à 2,6 ! Partant de très haut, il reste significatif, mais tout juste,

alors que les autres symptômes sont passés en dessous du seuil de significativité.
Les auteurs ajoutent “Furthermore, anosmia was the only symptom whose association with self-reported COVID-19 was substantially attenuated after adjustment for serology test results.”

Cette affirmation sur la perte d’odorat (anosmie) sans intervalle de confiance n’a aucune valeur statistique. D'ailleurs les intervalles d’incertitude des 2 𝘰𝘥𝘥𝘴 𝘳𝘢𝘵𝘪𝘰 (risques relatifs) se recoupent !

On constate finalement que les auteurs n’ont su contredire les critiques évoquées.

Les auteurs se sont pourtant démenés pour estimer la part de faux positifs, car des tests supplémentaires de séroneutralisation (SN) sont justement effectués pour éliminer les faux positifs. Ce sont les auteurs qui le disent :

"𝘓𝘢 𝘮𝘦́𝘵𝘩𝘰𝘥𝘦 ELISA 𝘱𝘦𝘶𝘵 𝘴𝘦 𝘵𝘳𝘰𝘮𝘱𝘦𝘳 𝘭𝘰𝘳𝘴𝘲𝘶𝘦 𝘭𝘦 𝘳𝘦́𝘴𝘶𝘭𝘵𝘢𝘵 𝘦𝘴𝘵 𝘱𝘰𝘴𝘪𝘵𝘪𝘧. 𝘋𝘢𝘯𝘴 𝘤𝘦 𝘤𝘢𝘴, 𝘶𝘯𝘦 2𝘦 𝘮𝘦́𝘵𝘩𝘰𝘥𝘦 𝘥’𝘢𝘯𝘢𝘭𝘺𝘴𝘦 𝘥𝘰𝘪𝘵 𝘦̂𝘵𝘳𝘦 𝘦𝘧𝘧𝘦𝘤𝘵𝘶𝘦́𝘦 [.] Elle donne un 𝘳𝘦́𝘴𝘶𝘭𝘵𝘢𝘵 𝘧𝘪𝘢𝘣𝘭𝘦 à 100%"

Mais pas un mot dans l’étude, ni quand on interroge les auteurs sur la raison pour laquelle 60% des personnes ayant reçu une sérologie positive “ELISA” initiale ont déclaré ne pas avoir été infectées : silence radio.

Par ex dans les commentaires et la réponse à la lettre à l'éditeur, plutôt que d'évoquer le fait que la grande majorité d’entre eux ont reçu un résultat SN (-), ils n’évoquent que le fait que certains asymptomatiques puissent penser ne pas avoir été infectés malgré leur test (+).

De la même manière, lors d’un webinaire, les auteurs ont été interrogés sur ce point, et ce, à 3 reprises.
Et à trois reprises, les auteurs n’évoquent pas ces tests.

Un auditeur du webinaire va pourtant rappeler que ces 2ds tests (SN, séroneutralisation) ont été effectués et ont pu influencer l’opinion de participants sur leur infection. Les auteurs reconnaissent alors que les participants ont bien été informés du résultat de ceux-ci avant de

dire s’ils pensaient ou non avoir été infectés.
Mais ils indiquent que l'impact est minime : "𝘤'𝘦𝘴𝘵 𝘶𝘯 𝘯𝘰𝘮𝘣𝘳𝘦 𝘵𝘳𝘦̀𝘴 𝘮𝘰𝘥𝘦́𝘳𝘦́ 𝘥𝘦 𝘤𝘢𝘴 𝘲𝘶𝘪 𝘤𝘩𝘢𝘯𝘨𝘦𝘯𝘵 𝘥𝘦 𝘤𝘢𝘵𝘦́𝘨𝘰𝘳𝘪𝘦 𝘦𝘯 𝘧𝘰𝘯𝘤𝘵𝘪𝘰𝘯 𝘥𝘦 𝘭𝘢 𝘴𝘦́𝘳𝘰𝘯𝘦𝘶𝘵𝘳𝘢𝘭𝘪𝘴𝘢𝘵𝘪𝘰𝘯”.

Nous allons voir que cette affirmation est fausse, et que l’impact en est majeur.

Peu après ce séminaire, un commentaire du Dr Larché est publié, intitulé “La "conviction" des participants peut avoir été influencée par la présentation préjudiciable d'un autre résultat de test”:

L’auteur correspondant de l’étude a apporté une réponse à ce commentaire :

L’auteur écrit que l’analyse principale dans l’étude est basée sur le seul test dont il connait la 𝘴𝘱𝘦́𝘤𝘪𝘧𝘪𝘤𝘪𝘵𝘦́ et la 𝘴𝘦𝘯𝘴𝘪𝘣𝘪𝘭𝘪𝘵𝘦́. Pourquoi alors l’un des co-auteurs a justement publié deux autres études sur les tests SN effectués sur cette même cohorte ?

Les auteurs nous indiquent les chiffres suivants, même s’ils sont assez évasifs sur une valeur importante (<1%).
#Commeparhasard

Derrière ce <1%, se cache la valeur de 0,16%.

(La différence 2,46 - 2,3
où 638 S+B-/(638+25271)B- = 2,46)

On sait donc désormais que 2,3% des “non-déclarants” avaient un SN négatif, sur les 2,46% de “non déclarants” ayant eu un 1er test positif, soit 94% d’entre eux !
Autrement dit, parmi les personnes qui ont eu un 1er test ELISA+, il y a une très nette corrélation entre le résultat

SN et le fait de penser ou pas avoir été contaminé.
94%... Vous souvenez-vous, les auteurs disaient : “𝘶𝘯 𝘯𝘰𝘮𝘣𝘳𝘦 𝘵𝘳𝘦̀𝘴 𝘮𝘰𝘥𝘦́𝘳𝘦́ 𝘥𝘦 𝘤𝘢𝘴 𝘲𝘶𝘪 𝘤𝘩𝘢𝘯𝘨𝘦𝘯𝘵 𝘥𝘦 𝘤𝘢𝘵𝘦́𝘨𝘰𝘳𝘪𝘦 𝘦𝘯 𝘧𝘰𝘯𝘤𝘵𝘪𝘰𝘯 𝘥𝘦 𝘭𝘢 𝘴𝘦́𝘳𝘰𝘯𝘦𝘶𝘵𝘳𝘢𝘭𝘪𝘴𝘢𝘵𝘪𝘰𝘯” !

Par ailleurs, on peut aussi en déduire que :
- Le groupe S+/SN+ est composé de 271 vrais positifs (0,16% des “non déclarants” et 25% des déclarants”)
- Le groupe S+/SN- est composé de 162 vrais positifs mélangés avec 658 faux positifs.

[test ELISA : S]

Dans ce dernier commentaire, les auteurs proposent un modèle à 3 variables qui associe les résultats des 2 tests sérologiques. Mais ce “modèle 3 variables” n’est pas davantage opérant :
La combinaison S+/SN+ permet de gagner en spécificité (il n’y a plus de faux positifs),

mais ce gain est malheureusement compensé par :
- la concurrence avec le groupe S+/SN- qui comporte 37% des vrais positifs, qui va donc récupérer une partie des associations de l’infection

- le nombre restreint de participants restants dans le groupe S+/SN+, qui va mathématiquement induire des incertitudes statistiques plus importantes.

Au final, il est attendu que les limites de ce modèle entraînent les mêmes conséquences que dans le modèle 3 de l’étude : le manque de puissance ne permet de n’associer que le symptôme le plus fort, c’est à dire la perte d’odorat (qui était 4 fois plus associé à la sérologie

que le symptôme suivant dans le modèle sans ajustement mutuel).

Accrochez-vous, on est presque au bout !

Pour ne pas buter sur ces limitations, il convient de constituer un groupe qui rassemble tous les vrais positifs. Et il s’agit de l’analyse usuelle dans ce type d’étude, comme précisé au début de ce fil, que nous allons dérouler maintenant.

Cette partie a été développée avec un professeur d’université en épidémiologie que nous remercions. 🙏

Une première 𝗵𝘆𝗽𝗼𝘁𝗵𝗲̀𝘀𝗲 𝗽𝗿𝘂𝗱𝗲𝗻𝘁𝗲 est de considérer que les faux positifs sont distribués de manière homogène dans les groupes "Déclaration+" et "Déclaration-", nous voyons qu'en plus de la perte d'odorat, 𝗻𝗲𝘂𝗳 𝗮𝘂𝘁𝗿𝗲𝘀 𝘀𝘆𝗺𝗽𝘁𝗼̂𝗺𝗲𝘀

(fatigue, vertiges, maux de tête, difficultés respiratoires, palpitations, douleurs thoraciques, toux, manque d'attention ou de concentration et "autres symptômes") sont alors statistiquement associés à un test sérologique positif après ajustement mutuel.

L’ensemble des calculs est disponible dans ce document :
docs.google.com/spreadsheets/d…

→ Il est fait l’hypothèse que les faux positifs ont les mêmes proportions de symptômes prolongés que le groupe contrôle (sérologie négative et pas de symptômes déclarés).

→ Pour chaque symptôme, le calcul du risque associé dépend de la répartition des faux positifs entre les groupes "Déclaration+" et "Déclaration-". Plus les faux positifs sont répartis dans le groupe “Déclaration+”, plus l’association sera renforcée.

Aussi dans le fichier, pour chaque symptôme, les calculs présentent la proportion minimale des faux positifs dans le groupe "Déclaration+" ramenée à l’ensemble des faux positifs, pour que l’association avec la sérologie soit significative (case “répartition B+”).

Dans cette première hypothèse de répartition homogène les groupes "Déclaration+" et "Déclaration-", tous les symptômes présentant une valeur “répartition B+” inférieure ou égale à 50% seront statistiquement associés à la sérologie.

Mais grâce aux données issues des tests de séroneutralisation, qui ne présentent quasiment aucun faux positif, il est possible de faire des hypothèses mieux étayées sur la répartition des faux positifs.

Les auteurs auraient donc dû reprendre les résultats de leur analyse, et prendre en compte la proportion de SN- pour répartir les faux positifs.

Avec les données précédentes on sait que les SN- représentent 94% des participants qui déclarent ne pas avoir été infectés malgré un 1er test sérologique positif, soit 596 participants. Sachant que 658 faux positifs sont attendus,

cela représente dans le meilleur des cas 91% des faux positifs, et donc les 9% restant déclarent l’infection. En faisant l'ajustement mutuel (model 3),on obtient alors, 𝗱𝗮𝗻𝘀 𝗹𝗲 𝘀𝗰𝗲́𝗻𝗮𝗿𝗶𝗼 𝗹𝗲 𝗽𝗹𝘂𝘀 𝗳𝗮𝘃𝗼𝗿𝗮𝗯𝗹𝗲, non pas un seul symptôme prolongé

qui se détache (la perte d’odorat), 𝗮̀ 𝗺𝗶𝗻𝗶𝗺𝗮 𝟯 (perte d’odorat, fatigue et difficultés de concentration).
A l’inverse, si on prend le scénario le plus défavorable, c’est-à-dire que l’ensemble des 201 SN- du groupe “Déclarant+” sont des faux positifs,

cela représente plus de 30% des 658 faux positifs. On trouve alors 5 symptômes associés à la sérologie (perte d’odorat, fatigue, difficultés de concentration, difficultés à respirer et palpitations).
docs.google.com/spreadsheets/d…

Ici, nous nous sommes limités à prendre en compte les faux positifs car c’est le plus impactant. Mais bien entendu la prise en compte des faux négatifs, aussi discutés dans les commentaires, accentuerait encore ce résultat.

On peut entendre que les auteurs n’aient pas réalisé cet aspect au moment de l’étude. Par contre, une fois le commentaire de M. Larché publié, ils ne pouvaient absolument plus l’ignorer.

Le JAMA a bien reçu ce commentaire, et, contrairement à leur politique de réponse en 48h, a mis 3 semaines à répondre (embarras peut-être?)... que... ils ne pouvaient pas le publier car ils avaient atteint leur quota de commentaires sur ce papier. 🤷‍♂️🙂

@Sonic_urticant @AlexSamTG @sTeamTraen @DgCostagliola @C_A_Gustave @lonnibesancon @DocArnica @anaisbard @pascale_santi @sfoucart @random_poisson @PGuerendel @DrFranckClarot @DrGomi @PierreProt1 @LUppsala @EliseLucet @LehmannDrC @FantineEtHippo @JeromeQuirant @GilbertDeray

Le thread sur un seul document :
docs.google.com/document/d/19D…

Les conclusions du papier sont donc scientifiquement erronées : il est inexact d’affirmer que l’infection n’est associée statistiquement qu’avec un seul symptôme prolongé (l’anosmie), puisque les calculs montrent qu’elle l’est a minima avec 3 symptômes.

De plus, il est probable que d’autres symptômes prolongés soient associés, mais la sérologie a une puissance statistique trop faible face à la déclaration pour pouvoir les isoler, compte tenu du trop faible nombre d’infections (entre 500 et 1200) dans la cohorte.