Thread by @Tsarorius

Bon, on va tenter celui là... Mais je vous préviens ça va être long comme un jour sans pain. 🔽

https://twitter.com/Acermendax/status/1271398237082193932

La phrase exacte est là.

1) Tout d'abord il faut noter le contexte :

Il a fait un essai clinique sur 42 patients (26 traités 16 non traités).

Certaines personnes ont critiqué son essai clinique.

L'un de ces critiques (selon moi plutôt accessoire) est que son essai a inclus trop peu de patients.

Il tente donc ici de justifier le faible effectif de son essai clinique.

2) Ensuite si on s'en tient à la phrase "plus l'échantillon d'un test clinique est faible, plus ses résultats sont significatifs", ça ne veut pas dire grand chose.

(je vous préviens direct, il y aura pas de 3) et j'ai écrit sans me relire donc faudra faire un effort pour comprendre et lire tout dans sa globalité)

On pourrait penser que le mot "significatif" dans cette phrase renvoie à la "significativité statistique" (et donc à la p-value). Là on va couper court : si il fait référence à la significativité statistique, ce qu'il dit est complètement con.

Si il avait fait son essai clinique sur 10000 patients, et si la différence observée dans son étude sur 42 patients est réelle, la p-value sur 10000 patients serait bien plus faible (et donc bien plus "signifivative statistiquement") que sur 42 patients.

C'est juste qu'avec 10000 patients son estimation de la taille d'effet aurait été bien plus précise.

On pourrait penser aussi que le mot "significatif" renvoie à la "significativité clinique" et donc à la taille de l'effet observé dans l'essai.

Si c'est le cas, c'est prendre le problème à l'envers. Mais là ça va être très long à expliquer (purée j'ai déjà la flemme...).

Pour comprendre il faut prendre un cas concret :

Imaginons que lors d'une maladie virale, la guérison survient spontanément chez 50% des patients au bout de 7 jours.

Imaginons aussi que l'on veuille montrer qu'un médicament est efficace. Son efficacité réelle, évidemment, n'est pas connue (l'efficacité réelle d'un médicament n'est jamais connue, on ne connait que l'efficacité que l'on observe dans des études, sur des échantillons de patients)

Si on ne connait pas l'efficacité d'un médicament, on peut néanmoins faire des hypothèses sur cette efficacité. On peut dire par exemple : "sur la base des études in vitro et chez l'animal, je m'attends à ce que mon médicament permette de guérir tant de malades"

Avant de faire un essai clinique, on peut dire par exemple : "vu ce qu'on sait des études antérieures, je pense que mon médicament permettra de faire passer de 50% à 90% le pourcentage de patients guéris au bout de 7 jours".

Faisons des hypothèses sur l'efficacité de notre médicament :

Hypothèse A : "mon médicament permet de guérir 90% des patients au bout de 7 jours"

Hypothèse B : "mon médicament permet de guérir 60% des patients au bout de 7 jours"

Hypothèse C : "mon médicament permet de guérir 53% des patients au bout de 7 jours"

Maintenant une petite digression sur la "significativité clinique". Kézaco?

Si on reprend mes hypothèses, la taille de l'effet sera de 40% dans l'hypothèse A, 10% dans l'hypothèse B, 3% dans l'hypothèse C.

Cette taille d'effet est-ce qu'elle a du sens? Est-ce qu'elle est intéressante? Est-ce qu'elle est "palpable"? Est-ce qu'elle va parler au clinicien qui prend en charge des patients? C'est ce qu'on appelle la "significativité clinique".

C'est important, car il ne faut évidemment pas faire d'essais clinique sur des hypothèses sans intérêt.

On peut donc se demander :
est-ce que ça a du sens de guérir 90% des patients à 7 jours plutôt que 50%?
est-ce que ça a du sens de guérir 60% des patients à 7 jours plutôt que 50%?
est-ce que ça a du sens de guérir 53% des patients à 7 jours plutôt que 50%?

Qu'est-ce que vous auriez envie de dire, vous?
90% plutôt que 50%? Ca serait plutôt chouette, oui
60% plutôt que 50%? Bof, c'est pas beaucoup, mais why not.
53% plutôt que 50%? Mouais... C'est pas la joie.

En fait la significativité clinique dépend de plein de paramètres.

Dans mon exemple je vous ai dit que la maladie virale guérit spontanément chez 50% des patients au bout de 7 jours. Oui, mais quid des 50% de patients restant?

Si ils guérissent tous sans séquelles au bout de 8 jours, on peut se poser la question de l'intérêt (de la "significativité clinique") d'un médicament qui amènerait 90% de guérison à 7 jours...

Et si en fait ces 50% de patients qui guérissent pas à 7 jours meurent tous à 7 jours? Ah ben là, en avoir 90% qui guérissent c'est carrément intéressant... et même 53% ça pourrait être très intéressant !

Les effets indésirables sont évidemment à prendre en compte aussi. Si j'ai une molécule dont j'espère qu'elle peut augmenter la survie des patients atteints de cancer du pancreas (cancers de mauvais pronostic) de 3 mois, mais qu'avec mon traitement les patients doivent

venir à l'hopital 3 jours par semaine, vomissent tripes et boyaux à la maison, et se choppent des infections à répétition... Est-ce vraiment "intéressant" cliniquement? Et si la survie augmente de 6 mois?

Pour en revenir à nos hypothèses : l'essai clinique visant à montrer l'hypothèse A nécessitera d'inclure moins de patients que l'essai clinique visant à montrer l'hypothèse B qui lui même nécessitera d'inclure moins de patients que l'essai clinique visant à montrer l'hypothèse C.

En effet, le nombre de patients qu'il faut inclure dans un essai clinique pour montrer l'efficacité d'un médicament dépend de la taille de l'effet que l'on veut montrer : plus la taille de l'effet que l'on veut montrer est faible, plus il faudra inclure de patients.

Cette taille de l'effet, il faut la prédire (on ne la connait pas réellement) avant de faire l'essai, et elle va permettre de savoir combien de patients il va falloir inclure dans l'essai.

Le nombre de patients qu'il faut inclure dans un essai clinique pour montrer l'efficacité que l'on prédit se calcule statistiquement avant de faire l'essai. J'ai déjà expliqué ça dans ce thread :

https://twitter.com/Tsarorius/status/1268572017562980354

Le résultat de ce calcul statistique (qu'on appelle "calcul du nombre de sujets nécessaires") aboutit à une phrase du style : "si mon médicament a réellement telle efficacité et que je veux le montrer dans un essai clinique, je dois inclure tant de patients".

Par exemple : "si mon médicament fait réellement passer de 50% à 90% les guérisons à 7 jours et que je veux le montrer dans un essai clinique, je dois inclure 40 patients".

Mais ça n'est pas contre-intuitif. Au contraire, je trouve ça assez intuitif de se dire qu'il est plus difficile (et donc nécessite d'inclure plus de patients) de mettre en évidence des différences faibles.

Et du coup vous avez peut-être compris pourquoi je disais que sa phrase revenait à prendre le problème à l'envers :
Si on fait un essai sur 10000 personnes, c'est qu'on veut mettre en évidence une différence plus faible que si on fait un essai sur 20 personnes.

Quand il dit "les différences dans un échantillon de 20 personnes peuvent être plus significatives que dans un échantillon de 10000 personnes", j'ai envie de lui dire : Ben oui, parce que si on inclut 10000 personnes dans un essai c'est précisément parce qu'on prédit que la

taille de l'effet est faible et si on inclut 20 personnes, c'est parce qu'on prédit que la taille de l'effet est forte. Donc oui les différences (c'est à dire les tailles d'effet) dans les études sur 20 personnes peuvent être plus "significatives" (c'est à dire importantes) que

dans les études sur 10000 personnes. Ça ne veut pas dire que les petits effectifs permettent de trouver des différences plus "significatives" (des tailles d'effet plus grande), ça veut juste dire que pour trouver des tailles d'effet plus

grandes (si cette taille d'effet est réelle) il n'est pas nécessaire d'avoir beaucoup de patients !

La phrase "si on a besoin d'un tel échantillonnage, il y a des risques qu'on se trompe" est stupide. Si on a besoin d'un échantillon de 10000 personnes, c'est juste qu'on cherche à mettre en évidence une différence (taille d'effet) faible.

Qu'est-ce qu'il appelle "se tromper"? Les risques d'erreur (les risques de se tromper en concluant) dans les essais cliniques sont définis et acceptés a priori.

Et puis si vous prévoyez que votre traitement va faire passer le pourcentage de guérison de 90% à 50% à 7 jours, et que vous incluez 40 patients dans l'essai pour le montrer, si en fait le taux de guérison est de 80% et non pas 90% vous risquez surtout de passer à côté

par manque de puissance ! (cf. thread cité au dessus sur le calcul de NSN)

Bref, ce que dit Didier Raoult est confus, voire stupide.

Sur la taille de l'échantillon de son étude, il aurait tout à fait pu répondre de façon pertinente autrement :

Il aurait pu dire qu'il a calculé un NSN et qu'il a inclus le nombre de patients prévus. Ce calcul figure bien dans son article (cf. toujours le même thread).

Ca n'aurait pas effacé le reproche que son échantillon était trop petit pour avoir un intervalle de confiance étroit.

Ca n'aurait pas effacé le reproche que que son étude ne montre pas d'efficacité supplémentaire de HCQ+AZ vs HCQ... peut être par manque de puissance justement (n=6 dans le sous groupe HCQ+AZ) !

Ca n'aurait pas non plus effacé tous les autres reproches qui font qu'en fait son étude est complètement biaisée et que c'est probablement pas seulement un problème de puissance et qu'on peut rien conclure de cette étude.

Mais au moins ça n'aurait pas été une explication alambiquée et stupide sur un prétendu avantage des petits échantillons vs gros échantillons.

Voilà, c'est tout. Bon courage avec ça. ⏹️