Thread by @PotardDechaine

J’ai un petit exercice de stats facile pour vous ... imaginons un nouveau test sérologique coronavirus, 95% de sensibilité et 99% de spécificité. On va dire que le covid touche environ 5% de la population (pour faire simple ratio covid:non covid 5:100). Est-ce un bon test ?

Je vous donne un indice ... pour répondre à cette question il vous faut un outil TRÈS SOOOOPHISTIQUÉ.

Ça.

Quand vous vous trouvez devant un problème de performance diagnostique il faut en revenir à la base ... LA MATRICE DE DÉCISION.

Avant de commencer ma démonstration, je vous préviens que ma démonstration va aller bcp plus loin que les tests diagnostics.

Je vous préviens aussi que je me gourre à chaque fois que je me lance dans cette démonstration pourtant simplissime !! 😹😹😹

On y va !

La matrice de décision est un calcul simple de ce qui va se passer dans la pratique qd vous utiliserez le test.

Il s’agit du tableau 2x2 malades/non malades versus test positif/test négatif.

Première opération : mettez la prévalence de votre maladie (sur la population que vous allez tester ...). Et comme on aime les comptes ronds, j’ai multiplié la prévalence par 20.

Seconde étape vous calculez le nombre de patients en mettant la sensibilité (% de patients qui ont le COVID chez qui le test sera positif) et la spécificité (% de gens non malades chez qui le test sera négatif).

Par ex. Sensibilité de 95%, vous testez 100 patients, 95 auront un test positif et donc 5 un test négatif.

Vous répétez l’opération pour la spécificité.

J’ai encadré les erreurs du test en vert : les faux positifs et les faux négatifs ...

Quelles sont les conséquences de ces erreurs ?

Vous allez entreprendre une prise en charge médicale inutile pour les faux positifs.

Et cette prise en charge sera retardée pour les faux négatifs ... que vous devrez tôt ou tard retester et qui pendant ce temps risquent ...

...de transmettre la maladie à d’autres personnes (je simplifie bien entendu).

Dernière étape : calculez les totaux et calculez par ex. les autres caractéristiques du test (VPP, VPN, accuracy).

SURPRISE !!! Le taux de faux positifs est de 17% !!!

QUESTION SUBSIDIAIRE. La matrice de décision vous rappelle-t-elle quelque chose en relation avec l’analyse des essais cliniques ?!?

La logique est IDENTIQUE dans le cadre d’un test statistique !

Reprenons notre tableau.

S’aggissant d’un médicament, vous avez deux possibilité ... soit il est efficace, soit il ne l’est pas.

En faisant l’hypothèse FONDAMENTALE que votre essai est PARFAITEMENT conduit.

Le résultat du test que vous utilisez sera significatif (vous rejetterez H0) ou non (vous accepterez H0).

Voici la matrice de décision, modifiée.

Puis vous complétez les cases pour illustrer les 4 scénarios possibles.

Par exemple, si votre essai clinique est positif alors que votre médicament est EFFICACE, la probabilité est rejet H0/H0 (probabilité de rejeter H0 si H0 est vraie). etc.

Prenons donc l’exemple de seuils classiquement choisis pour un test réalisé dans un essai clinique : un risque alpha de 5 % et une puissance (1 - béta) de 80% ... voici ce qui se passe.

Donc, si vos essais cliniques sont PARFAITEMENT conduits, vous voyez qu’avec les seuils classiques en conduisant 50% d’essais cliniques sur des produits efficaces et 50% sur des produits INEFFICACES, le pourcentage d’erreur est important, environ 14% !

Plus vous testez d’hypothèses fausses, plus ce nombre augmente ...

C’est LA raison pour laquelle les personnes qui cherchent à tout prix à montrer qu’un traitement est efficace ALORS QU’IL NE L’EST PAS, vont tout mettre en œuvre pour augmenter le risque alpha cad ...

...conduire des tests sauvages, biaiser les comparaisons, ne pas publier les essais cliniques négatifs ...

C’est à dire augmenter le chiffre que je viens d’entourer en rouge.

Que se passe-t-il quand vous multipliez la conduite d’essais cliniques sur des médicaments inefficaces ?

Quand la proportion de produits efficaces est similaire au nombre de produits inefficaces, la proportion d’hypothèses H0 que vous rejetez à tord reste proche du seuil alpha.

Mais quand plus vous augmentez le nombre d’hypothèses fausses que vous testez, plus ce pourcentage va augmenter ... ici 90% des hypothèses sont fausses (90% des produits sont inefficaces) et 38% de vos essais disent que ce produit est efficace !!!

On passe à 86% dans ce scénario ..

En conclusion, les gens qui veulent montrer qu’un produit est efficace alors qu’il ne l’est pas vont simplement multiplier les essais sur des hypothèses fausses !

J’espère que ce thread aura été utile. Retenez l’utilité de la matrice décisionnelle et que les performances d’un test diagnostic procèdent du même raisonnement que celles d’un test statistique (risques alpha et béta).

Il est facile d’obtenir des essais cliniques positifs avec un produit inefficace. Pour ceci :

1/ Il faut se dérober aux approches rigoureuses de la conduite des essais cliniques.
2/ Augmenter artificiellement le risque alpha.
3/ Multiplier le nombre d’essais cliniques.

Ioannidis. Why Most Published Research Findings Are False. journals.plos.org/plosmedicine/a…