Thread by @DavidHajage

Bonjour à tous,
Ce thread revient sur une étude menée à l’IHU Méditerranée Infection par l’équipe de DR (doi.org/10.1016/j.tmai…).

L’un des auteurs de cette étude (Philippe Gautret) fait partie du comité éditorial du journal ayant accepté cette publication. Sans être une situation unique dans le monde académique, cela semble être une tradition bien ancrée dans cette équipe.

Cette équipe s’est récemment lancée dans une campagne anti essais contrôlés randomisés. L’argumentaire est naïf : en pleine épidémie, c’est trop compliqué. Les équipes en ayant réalisés malgré les difficultés (réelles) lèvent les yeux au ciel.

Un essai contrôlé randomisé bien conduit et bien analysé est plus fiable qu’une étude observationnelle portant sur le même sujet. C’est une évidence, mais évitons tout de même de jeter à la poubelle les études observationnelles dans leur ensemble.

Car une étude observationnelle bien conduite et bien analysée peut apporter de l’information scientifique : elle ne suffira pas à elle seule à recommander l’utilisation d’un médicament à large échelle pour traiter une nouvelle maladie,

mais elle peut contribuer à l’évaluation de la balance bénéfice/risque. Attention, je parle bien d’études observationnelles bien conduites et bien analysées. Après cette introduction, revenons sur cette étude marseillaise.

Cette étude a pour objectif de comparer le devenir des patients ayant reçu au moins 3 jours d’HCQ+AZ au devenir des patients ayant reçu une autre stratégie de traitement.

Il s’agit d’une étude de cohorte, observationnelle, ce qui veut dire que l’attribution des stratégies thérapeutiques n’est pas tirée au sort, et les deux groupes ne sont donc pas “naturellement” comparables.

Ainsi, comme dans toute étude observationnelle, il est important de ne pas comparer naïvement ces deux groupes qui n’ont aucune raison d’avoir des caractéristiques initiales similaires en moyenne.

Compenser ce problème de déséquilibre initial lors de l’analyse des données peut se faire de plusieurs manières, toutes imparfaites.

Les auteurs ont choisi d’utiliser un modèle dit multivarié. Le principe est d’inclure dans une même « équation » la variable indiquant le groupe de traitement et d’autres variables reflétant les caractéristiques dont on souhaite tenir compte.

On appelle ces caractéristiques des facteurs de confusion. Seulement deux facteurs de confusion ont été pris en compte dans l’analyse, sur cet argument : le nombre de décès est insuffisant pour prendre en compte plus de facteurs dans un modèle multivarié.

Cet argument est trompeur : il ne vaut que pour l’analyse du risque de décès, mais pas pour d’autres critères de jugement de l’étude (il y a par exemple plus d’évènements “transfert en réanimation”).

De plus, il existe d’autres méthodes d’analyse dont la performance dépend beaucoup moins du nombre d’évènements observés dans l’étude. Par exemple, les méthodes basées sur le score de propension. Même objectif : tenir compte des facteurs de confusion.

Ça tombe bien, les auteurs ont également réalisé des analyses basées sur le score de propension… Des facteurs de confusion supplémentaires ont-ils alors été pris en compte dans l’analyse (par exemple, un facteur aussi insignifiant que... l’âge) ?

Et bah non. De toutes façons, cette partie de l’analyse statistique est tellement mal rapportée (y compris dans les annexes) que je n’y accorde qu’une confiance extrêmement limitée.

Mais l’absence de prise en compte de nombreux facteurs de confusion importants n’est pas le seul problème : il existe, intrinsèquement dans cette étude, une source de déséquilibre qu’il est impossible de redresser statistiquement.

Il s’agit du fait d’avoir inclus des patients ayant une contre-indication au traitement HCQ+AZ. Ces patients ayant des comorbidités contre-indiquant l’utilisation de cette association auraient dû être exclus de la comparaison, et non pas inclus dans le groupe Other treatments.

Dans le jargon statistique, cela s’appelle avoir un écart à l’hypothèse de positivité. De la même manière, ces patients n’auraient pas été inclus dans un essai contrôlé randomisé, puisqu’on sait déjà que l’une des alternatives thérapeutiques leur est délétère.

Penchons-nous maintenant sur un graphique important de ce papier : celui décrivant la mortalité des patients âgés de plus de 60 ans en fonction du groupe de traitement. Voici cette figure.

Cette figure suggère un effet “spectaculaire” de l’association HCQ+AZ sur la survie. Je ne reviendrai pas sur les notions de positivité et de déséquilibre entre les deux groupes qui rendent cette figure, prise isolément, ininterprétable.

Remarquons plutôt qu’aucun décès n’est constaté les 3 premiers jours de suivi dans le groupe HCQ+AZ. En effet, quand la probabilité de survie diminue (en formant une marche d’escalier), c’est qu’un ou plusieurs décès sont survenus à cet instant du suivi.

Or, aucun décès pendant les 3 premiers jours dans le groupe HCQ+AZ. Ceci n’a hélas rien à voir avec un quelconque effet spectaculaire du traitement. Les auteurs de cette étude ignorent (ou choisissent d’ignorer) ici la notion de biais de temps immortel.

Il s’agit d’un biais lié à la manière dont sont définis puis comparés ces 2 groupes. Pour appartenir à la courbe bleue, il faut avoir reçu au moins 3 jours d’HCQ+AZ. Mais la durée effective du traitement ne peut pas être connue au début du suivi du patient.

Par exemple, un patient qui reçoit de l’HCQ+AZ le premier jour, mais qui décède le lendemain, sera considéré dans le groupe “Other treatment” pendant toute la durée de son suivi.

C’est absurde et surtout trompeur : cette manière de faire permet d’attribuer mécaniquement *tous les décès précoces* au groupe “Other treatment” et non au groupe “HCQ+AZ”. Pratique.

Si vous voulez une métaphore, c’est un peu comme si, sur un sprint de 100 m, on donnait 3 secondes d’avance à l’un des coureurs. Considéreriez-vous sa performance comme spectaculaire par rapport aux autres coureurs ?

En fait, il semble que les chiffres de la mortalité des patients traités par HCQ+AZ affichés par DR lors de sa conférence de presse du 27 août, comportent la même bidouille.

Je rapporte texto ce qu’il a dit à cette occasion : « sur les 4600 personnes qui ont reçu leur traitement, qui étaient évaluables c’est-à-dire au moins 3 jours de traitement, il y a eu 19 morts ». Spé-cta-cu-laire.

Pourquoi ne pas aller plus loin après tout : j’affirme que sur les 4600 personnes qui ont reçu leur traitement pendant au moins 3 jours, il y a eu 0 mort jusqu’au 3ème jour. Quand on vous dit que c’est spectaculaire !

Attention, je vais maintenant prendre (et assumer) le risque d’être accusé d’anti post-modernisme primaire : ce biais et les manières de le compenser lors de l’analyse sont connus, et depuis longtemps.

Que resterait-il de l’association observée après prise en compte de ce biais, exclusion des sujets ayant des comorbidités contre-indiquant le traitement (mais augmentant le risque de décès), et prise en compte adaptée des facteurs de confusion ?

Je sais que ce thread est déjà trop long, et si vous êtes toujours là, c’est que vous êtes des cinglés passant trop de temps sur twitter.

Difficile de tout aborder : beaucoup d’autres problèmes existent, comme le fait que le surrisque de décès dans le groupe “Other treatments” au début du suivi (disons, grossièrement, la première semaine) semble disparaître dans la suite du suivi.

A tous les sots et les bots de la Raoult-sphère, ceci n’a rien à voir avec la notion de "traitement précoce".

On constate juste que l’effet “spectaculaire”, si tant est qu’il puisse être attribué à l’association HCQ+AZ (ce qui n’est pas le cas, relisez ci-dessus), disparaît brutalement après la première semaine de suivi. Très étrange.

Ce phénomène d’effet dépendant du temps a déjà été observé dans d’autres contextes en médecine (autres traitements, autres pathologies). Mais il peut aussi simplement refléter un problème dans les données, et notamment dans le suivi des patients.

En fait, le suivi des patients n’est décrit dans l’article, ne serait-ce que sa durée prévue. Même dans la partie intitulée « Clinical, biological and radiological data and follow-up » : rien. C’est assez suspect.

Bref, il faut savoir s’arrêter. Conclusion générale : difficile, même avec la meilleure volonté du monde, de tirer une conclusion quelconque sur l’efficacité de l’association HCQ+AZ dans le traitement de la Covid à partir de ce papier.

Ce thread est compliqué, et je me rends compte qu’il est assez difficile d’éviter le jargon et de rendre claires certaines notions. Elles ne sont pas complexes, mais spécialisées, et je ne suis pas vulgarisateur scientifique : c’est un métier.

Je comprends aussi que, pour certains, un thread sans phrase en latin ne soit pas assez crédible. Si c’est le cas, passez simplement votre chemin, je ne m’adresse pas à vous.

Je voulais juste tenter d’expliquer de manière un peu détaillée mais que j’espère compréhensible au plus grand nombre, pourquoi, sur beaucoup d’aspects, cette étude est problématique.

Ne vous faites pas avoir par la communication brouillonne de cette équipe. Le débat ne porte pas seulement sur la valeur d’une étude randomisée vs une étude observationnelle, d’une étude de grand effectif vs de faible effectif, du soin vs la recherche, ou que sais-je encore.

Le débat porte sur l’application ou non d’un ensemble de méthodes scientifiques valides pour répondre à une question scientifique donnée, et de conclure avec une prudence tenant compte des faiblesses des méthodes appliquées (il y en a toujours, plus ou moins graves).

Acte volontaire ou un simple problème de compétence, dans tous les travaux présentés depuis le début de cette crise, quel que soit le média utilisé pour les diffuser, cette équipe ignore les notions les plus basiques de l’épidémiologie clinique.

Tout ceci donne une saveur particulière à cette phrase récente, que l’on doit à cette fameuse équipe dans une lettre refusée (d’après l’équipe) au New England Journal of Medicine :

“The biases shown in the studies on the COVID-19 have gone beyond, as in the Lancet for that matter, everything that has been seen so far”. L’étude du Lancet est scandaleuse, et a été rétractée. On a envie de répondre : “now, could you please clean up your own backyard ?”

Pour finir, je tiens à remercier sincèrement toutes les personnes qui, depuis des mois, sur twitter et ailleurs, avec souvent beaucoup de rigueur, de pédagogie et d’humour, et malgré les insultes et les menaces abjectes dont ils font l’objet,

alertent et contredisent sans relâche les dérives de cette malheureuse exception culturelle française qu’est l’équipe de DR à l’IHU Méditerranée Infection. J’admire votre courage et votre persévérance. Je n’en ai pas clairement pas autant.

Mince, je voulais mettre cette figure, désolé... Mais les deux comportent les mêmes problèmes de toutes façons.