Peut-on faire confiance au site c19study.com sur les traitements pour la COVID ?
La réponse est non : Ce site s'apparente à de la désinformation et de la manipulation
Explications de tous les problèmes dans ce thread
⬇️
1/21
Problème 1 : Ce site compare des choses qui n'ont rien à voir
D'abord il donne l'impression (avec les pourcentages) que toutes les études se valent, ce qui est absolument faux
Une dizaine d'études mal faites vaut moins qu'une étude bien faite par exemple
2/21
Ce site mélange tout et n'importe quoi :
- Des études in vitro
- Des news (dont une de 1896)
- Des méta-analyses (ce qui ne doit pas être utilisé dans une méta-analyse)
- Un sondage
- ...
Cependant, seules les "vraies études" sont utilisées pour le décompte
3/21
Problème 2 : Des "études" qui n'ont rien à faire là (non cliniques)
On y trouve par exemple une "étude" de James Todaro (diplômé de médecine, actuellement investisseur dans les cryptomonnaies)
Cette "étude" est une simple compilation d'informations sur l'HCQ et la COVID
4/21
On y trouve aussi un papier de Maxime Izoulet, qui n'a rien à voir avec un essai clinique
Il y est fait deux groupes de pays (HCQ vs. "contrôle"), sur une base très arbitraire (les USA et le Brésil sont ici comptés comme "contrôle")
La mortalité est comparée entre pays
5/21
Problème 3 : Des études sans données, comptées comme positives
Par exemple, ces 3 études à la suite ne fournissent aucune donnée
La première est une compilation d'étude de Raoult
Les deux autres études chinoises annoncent que ça marche, sans aucune donnée ("on a essayé")
6/21
Problème 4 : Beaucoup d'études sont simplement des études de cas d'un traitement HCQ, avec 0 comparaison
On a par exemple les études intermédiaires de Raoult sans groupe contrôle
On y trouve aussi des études du type "meilleur taux de mortalité que la moyenne"
7/21
Problème 5 : Des études aux conclusions modifiées, sur la base de tweets
On y trouve par exemple l'étude de l'AP-HP, mais l'exemple le plus frappant est l'étude de Boulware
Cette étude randomisée est comptée comme "positive", à l'inverse de ses conclusions
8/21
Et ce, sur la base d'un simple tweet, d'un cherry picking, d'une modification du seuil statistique et d'une ignorance de l'effet placebo
D'abord, je tiens à dire que l'absence de preuve n'est pas la preuve de l'absence, et dans cette étude on a une absence de preuve
9/21
Même si on fait du cherry picking comme le tweet le fait (jours 1, 1-2, 1-3, 1-4), on obtient toujours des p-value >= 0.1, c'est-à-dire non significatif
Que dit le tweet ?
Il décide de comparer le groupe 1 jour HCQ vs. 1-4 jours placebo
10/21
En faisant cela, on introduit un biais dans la randomisation : Les patients traités plus tard sont différents (circonstances différentes)
On oublie aussi l'effet placebo : Être traité plus tôt donne plus confiance dans le traitement
11/21
Et malgré tout ça, on obtient quand même une p-value > 0.05, ce qui, selon toutes les conventions en médecine, est non significatif
C'est donc profondément malhonnête de considérer cette étude comme positive
Et cela a un gros impact sur les "compteurs"
12/21
Dans les études PEP (100%) on a :
- Une étude "advisory" non comptée
- Une étude sans comparaison (problème 4), qui conclut simplement que l'HCQ en prophylaxie n'est pas dangereuse, et que des RCTs sont attendus
- L'étude de Boulware
Ce compteur devrait donc afficher 0% !
13/21
Problème 6 : Des études manquantes
Exemple :
- L'étude de Barbosa [1]
- Les études de Bessière [2] et Mercuro [3], qui montrent la cardiotoxicité de l'association HCQ+AZ (Augmentation QT)
Problème 7 : Le traitement que l'on regarde ("positive") change à chaque étude
- Dans l'étude de l'AP-HP, le site regarde par exemple HCQ (puisque HCQ+AZ augmente la mortalité)
- Dans les études de Raoult, on regarde HCQ+AZ
- Dans l'étude de Zelenko : HCQ+AZ+Zinc
15/21
Ce problème est très frappant pour une étude en particulier (voir image)
Cette étude compare HCQ+AZ+Zinc vs. HCQ+AZ, et en déduit que les gens meurent plus avec HCQ+AZ
Mais cette étude est comptée comme positive (ils ne sont pas à ça prêt)
16/21
Problème 8 : Les critères d'évaluation changent aussi selon l'étude
- L'étude de l'AP-HP montre par exemple une réduction de la durée d'hospitalisation pour HCQ, mais suggère une augmentation de la mortalité pour HCQ+AZ : Ils choisissent ici évidémment la durée
17/21
Comme critère évalué on a, selon l'étude :
- Portage viral à un certain moment
- Durée du portage viral
- Hospitalisation ou non
- Durée d'hospitalisation
- Réa
- Mort
Pour chaque étude, ils choisissent le critère qui les arrangent
18/21
Problème 9 : La classification "Early vs. Late" est inconsistante, et sert à faire passer le traitement early pour du "100%" d'études positives
L'étude de l'IHU sur 1061 est par exemple "early", alors que la durée moyenne entre symptômes et traitement est de 6,4 jours
19/21
À côté de ça, l'étude randomisée espagnole, avec "early" dans le nom, est considérée comme "late"
Justification ? Pour certains patients, on a jusqu'à 5 jours de délai (moins que la moyenne IHU)
En lisant l'article, on voit en plus que la médiane est de 3 jours
20/21
Conclusion
- Ce site mélange tout et n'importe quoi : Des news, des sondages, des études in vitro
- Certaines études n'ont rien à faire là
- Certaines études n'ont pas de données
- Beaucoup d'études n'ont pas de comparaison
- Certaines études ont des conclusions modifiées
21/21
- Certaines études "négatives" pour l'HCQ manquent
- Le critère d'évaluation change selon l'étude choisie
- Le traitement change selon l'étude choisie
- La classification early vs. late est fausse
Bref, un bel exemple de manipulation et de désinformation
Introduction à la pyramide des preuves en médecine
👉 Biais potentiels à chaque étage : indication, publication, évaluation, temps immortel...
👉 Pourquoi l'essai contrôlé randomisé double aveugle est-il le gold standard de l'essai clinique ?
👉 Méta-analyse ?
⬇️⬇️⬇️
1/
Disclaimer : Je suis chercheur (mais pas en médecine), et ce thread est une introduction à la pyramide, donc incomplet. Je ne décris pas ici tous les types d'essais cliniques, ni tous les biais possibles. Je ne parle pas non plus d'études théoriques, in vitro, animales...
2/
Niveau -1 : L'opinion de l'oncle qui a une amie qui a vu une vidéo YouTube qui explique que ça marche
Que vaut le site hcqtrial.com, qui annonce que HCQ fonctionne sur la base d'un "country-randomized controlled trial" avec 1/3 de la pop mondiale
J'explique dans ce thread pourquoi la méthodologie est absurde, en l'utilisant pour la France (HCQ : +12% de morts)
1/24
Contexte : Ce site nous vient du compte @CovidAnalysis, qui est aussi à l'origine du site c19study.com, site très partisan pour lequel j'ai déjà expliqué en quoi ce site s'apparente à de la désinformation
Ne vous faites pas avoir par la longueur et la présentation du texte, la méthodologie de ce site est extrêmement simple, et il ne s'agit en rien d'un essai randomisé (soit les auteurs n'ont pas compris cette notion, soit ils sont malhonnêtes)
Le torchon [1] du blog complotiste nous explique que l'HCQ en Suisse a été supendue "aux alentours du 27 juillet" et réautorisée le 11 juin (nous y reviendrons)
Avec ce graphe et ce tableau à l'appui, ils nous expliquent que l'"interdiction" de l'HCQ a tué beaucoup plus
Thread : Pourquoi l'étude HCQ de Detroit (Henry Ford Hospital) [1] est absolument ridicule
1/
En résumé :
- Énormément de biais non corrigés
- Groupes HCQ / pas HCQ très différents
- L'analyse statistique ne vaut rien et conclut des choses absurdes
Je pense que tout ou presque a déjà été dit sur cette étude, mais j'écris ce petit thread car il me semble que certaines personnes brandissent encore cette étude comme une "preuve solide" de l'efficacité de l'HCQ chez les patients COVID+ hospitalisés
3/
Je vous renvoie d'abord à une analyse plus détaillée de tous les problèmes, dans ce thread
- Didier a oublié que son traitement c'est HCQ+AZ, pas HCQ seule : Ce "cocktail" augmente la mortalité dans toutes les analyses (~ la même si réa <24h en brut)
- Pour l'HCQ, il prend les données brutes (patients + jeunes de 6 ans) alors que l'analyse stats dit le contraire
Thread : Pourquoi c'est absurde de comparer directement les chiffres de l'IHU
1/
- Patients IHU + jeunes que la pop FR
- CFR IHU 1,1% -> pire que l'Islande (0,5%)
- CFR IHU > 60 ans 5,8% -> pire que le Diamond Princess
- Comparaison entre départements -> pas d'exception BdR
⬇️
2/
L'âge des 3737 patients IHU d'après [1] (tableaux 2 et 5)