Thread by @DavidHajage

Bonjour à tous

Ce thread revient sur l’étude de Lagier et al. (doi.org/10.1016/j.tmai…) menée à l’IHU Méditerranée Infection par l’équipe de DR.

Pour mémoire, j’avais déjà consacré un thread sur cette pépite. Je vous conseille de vous raffraichir la mémoire (ou de le lire pour la première fois) avant de continuer. C’est par ici :

https://twitter.com/DavidHajage/status/1299676887141228544?s=20

Cette équipe s’est récemment à nouveau ridiculisée en publiant une lettre dans le journal CMI : doi.org/10.1016/j.cmi.…

Dans cette lettre, ils commencent par se plaindre du fait que l’étude de Lagier et al. ne soit pas incluse dans l’analyse principale d’une méta-analyse réalisée par “des jeunes pleins de jus”.

Si vous avez lu mon précédent thread, la raison vous apparaît clairement : cette étude est exclue car elle a pleins de biais. Et une étude qui a autant de biais, bah non quoi.

Le concept même de cette étude, qui compare des patients ayant reçu le fameux protocole à des patients ne l’ayant pas reçu *notamment* car ils présentaient des contre-indications, est foireux.

L’ajustement effectué pour palier à la présence de facteurs de confusion est foireux. L’analyse d’une étude observationnelle nécessite, par essence, d’avoir les compétences dans ce domaine. Ce n’est pas le cas de cette équipe. Et elle s’en est déjà félicitée 🥺.

Comme si cela ne suffisait pas, les auteurs ont réussi la prouesse de *rajouter* un biais totalement artificiel : le biais de temps immortel. Mais le dénoncer suffit-il ? L’expliquer suffit-il ? Peut-on faire mieux ?

Bon. Twitter, le temps est venu pour moi d’avouer un truc. Et c’est grave. Je fais partie d’une secte. Une secte sataniste, dont l’objectif séculaire est d’empêcher les grands esprits de notre siècle à faire éclater leur vérité. Je fais partie des… METHODOLOGISTES.

Satanisme oblige, de temps en temps, il y a des petits malins. Et il se trouve que des petits malins ont publié une méthode permettant de reconstituer, de manière approximative mais assez précise, les données permettant la reconstruction d'une courbe de survie publiée.

Bien. Donc. Est-ce que vous pensez à la même chose que moi ?

Voici les courbes de survie SPECTACULAIRES présentées dans Lagier et al. (c'est un copier-coller).

Un petit coup de baguette algorithmique, et… Tadaaaa, voici ce qu’on peut reconstituer.

Bon, déjà, juste pour mieux se rendre compte des probabilités de survie discutées ici, on peut représenter la figure sans zoomer l’axe des ordonnées.

Je rappelle que ces courbes représentent, au cours du temps, la probabilité d’être encore en vie, dans le groupe “HCQ+AZ” (en bleu) et dans le groupe “Other treatments” (en rouge). Chaque marche d’escalier correspond à la survenue d’un ou plusieurs décès au temps correspondant.

Je rappelle aussi que ce graphique ne tient aucun compte de l’écart à l’hypothèse de positivité (il aurait fallu exclure les patients présentant des contre-indications à l’HCQ ou à l’AZ), ni des facteurs de confusion.

En résumé, ce graphique ne peut pas être interprété comme reflétant un quelconque effet de l’association HCQ+AZ. La différence de survie observée au cours du temps peut s’expliquer par la différence de gravité initiale des patients dans ces deux groupes.

Un décès est même survenu au temps 0 (donc dans le groupe “Other treatments”) ! Tu m’étonnes que l’effet soit “spectaculaire”… C’est vraiment du foutage de g...

C’est aussi pourquoi il n’y a aucun décès observé (aucune marche d’escalier) dans les trois premier jours pour la courbe bleue. Ah bah non, hein, si un patient meurt trop vite, c’est parce qu’il n’a pas reçu ses 3 jours de traitement…

En fait, ce biais de temps immortel implique le raisonnement suivant : l’association HCQ+AZ marche, donc les décès précoces ne peuvent être attribués à ce traitement. Autrement dit, on part du principe que l’association marche pour “prouver” que l’association marche.

Si vous ne voyez pas la circularité de ce raisonnement (le traitement marche parce qu’il marche, et quand ça ne marche pas, ce n’est pas sa faute), bah je suis désolé.

Plusieurs méthodes auraient permis aux auteurs de ne pas artificiellement surestimer la survie du groupe “HCQ+AZ” et sous-estimer la survie du groupe “Other treatments”.

Ils auraient pu, par exemple, ne pas définir l’exposition comme “au moins 3 jours d’HCQ+AZ”, mais considérer qu’un patient est exposé dès le début du traitement et du suivi.

On ne peut pas faire cette analyse à la place des auteurs, car on ne sait pas quels patients, dans le groupe “Other treatments”, ont effectivement reçu au moins 1 jour d’HCQ+AZ.

Mais même en considérant qu’un patient n’est exposé au traitement qu’au bout de 3 jours de prise, il y avait des choses à faire pour éviter le biais de temps immortel.

Une manière de faire très simple, qui ne nécessite aucune compétence particulière (autre que la bonne foi), aurait été d’exclure tous les sujets (quel que soit le groupe) qui ont moins de 3 jours de suivi. Et ça, on peut le faire à la place des auteurs

Voici le graphique obtenu. J’ai mis en pointillé les courbes précédentes (qui souffrent du biais de temps immortel), pour visualiser à quel point l’analyse précédente surestime la différence de survie entre les deux groupes.

Dans le graphique ci-dessus, on voit de manière assez évidente que les courbes de survie s’écartent moins. Et souvenez vous que cette comparaison reste naïve :

le problème d’écart à l’hypothèse de positivité et l’absence de prise en compte des facteurs de confusion persistent, et expliquent très probablement l’écart restant entre les courbes.

Et on ne peut évidemment pas reconstituer les données nécessaires pour corriger ces 2 problèmes : il faudrait avoir accès aux données sources.

Que resterait-il de la différence entre les deux groupes avec une analyse correcte ? A moins que l’équipe de l’IHU ait soudainement une crise de bonne foi, on ne le saura sans doute jamais.

Peut-on aller plus loin ? Oui, un peu. Réinspectons ces courbes. Dans mon thread précédent, j’avais évoqué un autre aspect étrange dans ce graphique.

Il s’agit du fait qu’au bout d’un moment, plus aucun décès ne soit observé dans le groupe “Other treatments” (la courbe rouge finit par être parfaitement horizontale), alors que des décès continuent d’être observés dans le groupe “HCQ+AZ”.

En analyse de survie, cet aspect indique (désolé du jargon) un écart à l’hypothèse des hasards proportionnels. C’est cet écart qui fait que, même si les courbes de survie s’écartent au début, elles aboutissent à peu près à la même probabilité de survie à la fin du suivi.

On peut expliquer le phénomène autrement : si, au début du suivi, on observe bien un surrisque de décès dans le groupe “Other treatment” (je rappelle que ce groupe est constitué de patients plus âgés et ayant plus de comorbidités : un écart est attendu),

au bout d’un moment, ce surrisque… disparaît complètement. Je précise que l’écart à l’hypothèse des hasards proportionnels est statistiquement significatif (Test de Harrel : p-value = 0.03).

On peut mieux visualiser ce phénomène graphiquement, en coupant le suivi en deux parties. Voici ce qu’on observe durant la première semaine de suivi :

Sur ce graphique, j’ai indiqué le “hazard ratio” (HR, avec son intervalle de confiance à 95% entre crochets) : c’est une mesure de la “différence” entre les deux courbes de survie. Un HR proche de 1 signifierait que les deux courbes de survie sont très superposées.

Ici, donc, un HR < 1 signifie que le risque de décès est moins important dans le groupe HCQ+AZ (on sait pourquoi).

Et voici ce qu’on observe après la première semaine de suivi…

Mais, mais, mais, Garcimore, comment as-tu fait pour faire disparaître cet effet “spectaculaire” ?

Attention, hein je ne parle pas d’un petit détail ici. C’est un domaine complexe et spécialisé, mais quand on réalise ce type d’analyse, vérifier qu’il n’y a pas d’écart significatif à l’hypothèse des hasards proportionnels est juste méga super important.

Et la personne qui a réalisé cette analyse n’a juste pas fait son boulot. C'était peut être pas expliqué sur Wikipédia, je sais pas.

Car quand on est formé aux analyses de survie, les deux problèmes (biais de temps immortel et hypothèse des hasards proportionnels non respectées) que j’ai essayé de vulgariser ici (vous me direz si j’ai réussi…) se voient au premier coup d’œil.

D’où vient l’écart à l’hypothèse des hasards proportionnels ? D’un effet délétère de l’association qui finit par apparaître au bout d’un certain temps ? D’un problème dans le suivi des patients (aucune information sur les modalités de suivi n’est donnée dans l’article) ?

Quelle que soit la raison, la conclusion est la même : cette étude ne prouve pas l’efficacité de l’association HCQ+AZ sur la survie des patients atteints de la COVID19.

Et les biais sont si importants que personne ne devrait se baser sur les résultats présentés dans cet article pour conclure quoi que ce soit.

Voilà, je m’arrête ici. J’ai fait de mon mieux, mais le thread est plus ardu que d’habitude… Merci à vous de l’avoir lu ! Et excusez moi d’avance si je ne réponds pas à toutes les questions. A bientôt !

Please unroll @threadreaderapp