Thread by @ISlovan

#FlawedJamaStudy #LongCovid
👉 pubpeer.com/publications/0…

#FlawedJamaStudy #LongCovid
Des explications...👇
L’étude de JAMA de novembre 2021 sur le covid long est basée sur deux données :
- un questionnaire dans lequel les participants signalent des symptômes prolongés (type fatigue, douleurs thoraciques, perte d’odorat…) d’une part,

et indiquent s’ils pensent avoir été infectés par le SARS-CoV-2 d’autre part.
- un test sérologique fait sur les mêmes participants (c’est un test qui cherche à évaluer s’ils ont été infectés par le passé).

Le résultat-clé de l’étude repose sur le fait que parmi les participants avec un test sérologique positif, 600 déclarent ne pas avoir été infectés et ont des symptômes semblables à la population générale.

#FlawedJamaStudy
Les 400 participants restants, qui déclarent avoir eu le covid, rapportent eux un nombre accru de symptômes prolongés.
Les auteurs ont conclu que c’est davantage la “croyance” d’avoir été infecté qui crée les symptômes prolongés, et non l’infection elle-même.

Ce résultat en lui-même est étonnant : après avoir pris connaissance d’un résultat positif de leur test, la 𝗺𝗮𝗷𝗼𝗿𝗶𝘁𝗲́ des participants ont donc déclaré ne pas avoir été infectés par le virus.

#FlawedJamaStudy #LongCovid
C’est pourtant une conséquence simple et directe d’un point clé du protocole d’étude, mais qui n’est pas dévoilé dans l’article comme vous allez le découvrir par la suite.

#FlawedJamaStudy
Ce qui a été reproché à l’étude, c’est de ne pas avoir pris la mesure du grand nombre de résultats de tests faussement positifs. Ce sont des tests sanguins sur les participants qui ressortent positifs alors que ces personnes n’ont en réalité jamais été infectées.

#FlawedJamaStudy
En prenant en compte la fiabilité des tests indiquée dans la littérature scientifique, on déduit pourtant que plus de la moitié des participants avec un test positif (j'appelle ce groupe "Test+") n’ont en réalité jamais rencontré le virus !

#FlawedJamaStudy
Dans un second sous-groupe de l’étude, les personnes déclarent elles-mêmes avoir été infectées. J’appelle ce groupe “Déclaration+”.

Dans la plupart des cas, cette déclaration s’appuie sur un diagnostic médical de covid (commentaire JAMA N. Brown).

Par conséquent on s’attend à avoir une proportion plus grande de gens infectés dans le groupe “Déclaration+” que dans le groupe “Test+”, dont on a vu les limites. D’ailleurs, plusieurs éléments indépendants le confirment,

par exemple en analysant le nombre de personnes ayant perdu l’odorat dans les 2 sous-groupes (commentaire JAMA E. Iasonidou). Ici, si la “déclaration” était un test, ce serait un test plus fiable que le test sérologique.
#FlawedJamaStudy

Alors, bien évidemment, comme rappelé par les auteurs, ces tests sérologiques gardent un pouvoir statistique suffisant pour pouvoir identifier des effets de l’infection. D’ailleurs, l’article montre l’association entre un test positif et 10 symptômes prolongés.
#FlawedJamaStudy

Mais les conclusions de l’étude reposent sur une analyse réalisée par la suite, qu'on appelle un "ajustement mutuel" entre 𝘵𝘦𝘴𝘵 et 𝘥𝘦́𝘤𝘭𝘢𝘳𝘢𝘵𝘪𝘰𝘯 (c’est un calcul statistique qui permet d’estimer quelle est la part de l'un et de l'autre).
#FlawedJamaStudy

Voici la théorie de l’étude : dès lors que le test sérologique permet d’identifier les infections, les symptômes prolongés du covid devront se retrouver associés aux tests positifs dans les analyses statistiques, le reste étant simplement lié à la “croyance” d’avoir été infecté.

Mais comme nous l’avons vu, la déclaration s’avère en fait être un prédicteur plus fiable que la sérologie. Les symptômes liés à la maladie vont donc être plus fortement associés au meilleur des 2 tests : ici, la déclaration.
#FlawedJamaStudy

Une fois la déclaration "appliquée", l'aspect “test” n'influence plus beaucoup les valeurs, car tout a déjà été qualifié avec l'aspect "déclaration".

Dit autrement, l’essentiel des associations de l’infection aux symptômes prolongés a déjà été déduit avec l’aspect “Déclaration+”, qui a intégré la plupart des personnes contaminées et symptomatiques.

Dans le sous-groupe “Test+”, les personnes réellement infectées sont "diluées" parmi des personnes qui n’ont jamais été touchées par le covid. Il ne reste donc plus grand chose 𝘥𝘦 𝘯𝘰𝘶𝘷𝘦𝘢𝘶 à identifier pour la catégorie “Test+”.
#FlawedJamaStudy

Seuls les symptômes particulièrement caractéristiques du covid vont pouvoir ressortir de façon statistiquement significative avec ce sous-groupe. C'est la conséquence inévitable des conditions particulières de l'étude !

Le dernier symptôme qui peut subsister malgré la dilution sera le plus caractéristique du covid, à savoir la perte d'odorat. Les auteurs viennent de redécouvrir une information qu'on connaît depuis janvier 2020... 👏🎖️

Dans les résultats de l’étude, les symptômes prolongés associés à la maladie se retrouvent donc dans les résultats de la déclaration. Ils sont mêlés aux symptômes causés par la croyance, en supposant qu’il y en ait.
#FlawedJamaStudy

Imaginons malgré tout qu'on joue le jeu des auteurs, et qu'on conserve les tests sérologiques comme indicateur de l'infection. Une analyse (#19 PubPeer pubpeer.com/publications/0…) présente une correction des résultats des tests sérologiques en retirant les faux positifs,

afin d’améliorer a posteriori la précision du test.
Trois symptômes – la perte d'odorat, l'épuisement et les difficultés de concentration –, si on se place dans les conditions les plus désavantageuses, deviennent alors significatifs pour les tests positifs.

Ainsi, l’analyse des données “redressées” montre qu’il y a bien un lien entre infection et plusieurs symptômes prolongés (au-delà d'un supposé effet "croyance"), soit rigoureusement l’inverse de ce qu’affirment les auteurs dans l’étude.
#FlawedJamaStudy

C’est-à-dire que même en utilisant la méthodologie des auteurs dont j’ai détaillé les limites profondes, les auteurs auraient dû conclure que la croyance d’avoir été infectée ne peut seule expliquer plusieurs symptômes prolongés, et non un seul (la perte d’odorat).

Si l’absence de réponse des auteurs sur le fond de ces analyses et l’absence de rétractation du papier sont problématiques, un autre élément met encore davantage en doute la probité des auteurs.

(à suivre)
#FlawedJamaStudy

Reprise du [thread] sur #FlawedJamaStudy

La première version de l’article évoquait bien l’existence des faux négatifs, mais étonnamment pas des faux positifs (et dans la correction de l’article publiée en avril, ces notions ne sont plus abordées du tout…).

Les auteurs n’avaient-ils pas conscience des limites des tests sérologiques évoqués ci-dessus ?
Vraiment ?
#FlawedJamaStudy

Le protocole de l’étude montre pourtant le contraire (com. JAMA Larché). Afin d’éliminer les “faux positifs” des tests sérologiques, le protocole prévoyait de soumettre les participants ayant eu un résultat positif à un deuxième test très particulier, appelé “séroneutralisation”.

Les résultats de ces tests complémentaires ont été communiqués aux participants avant de répondre au questionnaire de l’étude.
Voir également à ce sujet l'interview de X. de Lamballerie (Conseil scientifique du gouv !), l'un des auteurs :constances.fr/actualites/202…
#FlawedJamaStudy

Figurez-vous que 92% des personnes qui ont leur premier test positif, mais qui déclarent ne pas avoir été infectées, avaient en fait reçu un résultat négatif au second test. Vous vous souvenez, le résultat bizarre dont je parlais au début, sur lequel repose toute l’étude ?

Faut-il s'étonner qu'une personne non infectée, qui reçoit un résultat négatif lors du second test plus poussé, déclare ne pas avoir été infectée ?

Les auteurs n’ont pas révélé l'existence de ces tests qui ont pourtant fortement influencé les réponses des participants,

et donc les résultats de l'étude.
Pire, lors d’un webinaire enregistré, les auteurs sont interrogés à trois reprises sur la raison pour laquelle la majorité des personnes avec un test positif déclarent ne pas avoir été infectées.
#FlawedJamaStudy

Ils n'évoquent pourtant jamais ces tests complémentaires, mais finissent par reconnaître, lorsqu'ils y sont confrontés en fin de webinaire, que les participants avaient bien été informés du résultat de ces tests avant de répondre au questionnaire.

Sur la page web de l'étude, on note que les auteurs ont formulé des réponses aux commentaires que le journal JAMA a publié, mais en mettant sur le même plan des éléments qui ont des probabilités très différentes (du genre,

“il est possible que quelqu'un ait renversé le verre, mais il est aussi possible que ce soit quelqu’un qui a fait bouger ses genoux sous la table et alors le verre est tombé, c'est notre thèse, les deux sont possibles, donc nous maintenons nos conclusions”).
#FlawedJamaStudy

Ce faisant, ils ne respectent pas la conduite élémentaire en recherche scientifique : en cas d’incertitudes, on ne peut affirmer des conclusions que si les résultats restent valables “dans le pire des cas”.

Les auteurs ne sont pas accusés d’avoir modifié des données. Par contre, les experts leur reprochent des erreurs méthodologiques majeures, et la dissimulation de données déterminantes pour expliquer les résultats de l’étude, et qui viennent remettre en question leurs conclusions.

Les auteurs refusent de délivrer des tableaux synthétiques intermédiaires (anonymisées) de données qui auraient permis de creuser les biais et en déduire d’autres implications, lesquelles auraient pu avoir un intérêt pour la recherche et les malades.

Par exemple, on ne connaît pas le nombre de malades du covid long dans cette étude, probablement une centaine au maximum. La demande de ces tableaux a ensuite été relayée par le directeur de l’ANRS, M. Yazdan Yazdanpanah, qui n’a pas davantage obtenu de retours des auteurs.

Toutes les données de l’étude sont récoltées avec de l'argent public, mais leur délivrance est à la discrétion des membres du groupe “Surveillance Cohorte Constances”, dont font partie plusieurs auteurs de l’étude, avec un comité qui n'a d'éthique que le nom, qui s’étonne

(et répondra négativement) que des experts tiers demandent les données de l’étude.

Et le journal JAMA ?
Le journal a déclaré, dès l’instant que la version corrigée de l’étude a été publiée en mars 2022, qu’ils ne publieraient plus aucun commentaire, ayant atteint leur “quota”.

La dernière analyse en lien du premier tweet de ce thread a donc été soumise à la plateforme PubPeer, où elle a été acceptée. Les auteurs, systématiquement notifiés, n’y ont apporté aucune réponse.

Le Monde titre “Des troubles au centre de vifs débats” en parlant de cette étude. Mais de débat, il n’y en a aucun. Les auteurs opposent, à des éléments mathématiquement objectifs, leur mauvaise foi et un blocus sur des données issues de la recherche publique.
#FlawedJamaStudy

Le journal JAMA, quant à lui, veut éviter le scandale d’une étude rétractée.

Dans tout ça, il n’est nullement question de la validité des théories des auteurs, mais d’𝗶𝗻𝘁𝗲́𝗴𝗿𝗶𝘁𝗲́ 𝗲𝘁 𝗱𝗲 𝘁𝗿𝗮𝗻𝘀𝗽𝗮𝗿𝗲𝗻𝗰𝗲 𝗱𝗮𝗻𝘀 𝗹𝗮 𝗿𝗲𝗰𝗵𝗲𝗿𝗰𝗵𝗲.
#FlawedJamaStudy

L’association @apresj20 avait publié une tribune à ce sujet, en se référant à cette affaire : apresj20.fr/_files/ugd/9a4…
#FlawedJamaStudy #apresj20 #longcovid #covidlong