Thread by @arikouts

Comme cet article totalement stupide tourne sur twitter, notamment relayé par @silvano_trotta qui n’a probablement pas lu, on va pouvoir parler méthodologie d’étude, et comme la choisir, et comment comprendre ce qu'on lit…
pgibertie.com/2021/02/28/un-…

Dans cet article, l’auteur pense avoir trouvé une faille et que l’on a inventé des personnes. Bien entendu c’est faux… Je vous donnerai la réponse plus tard :) Spoiler : il faut juste savoir lire et ne pas se précipiter

Pour une étude de statistiques, on peut :
•Avoir le contrôle de sa population
•Subir le contexte
•Être entre les 2
Avec pas mal de sous catégories

onlinelibrary.wiley.com/doi/10.1002/pe…

Par exemple, pour un essai de médicament (un vaccin par exemple) on va injecter le vaccin à un groupe, et autre chose à un autre groupe similaire. Le but est d’en déduire l’efficacité. Et on ne leur dit pas. C’est le fameux double aveugle randomisé
nejm.org/doi/full/10.10…

On peut aussi faire un peu de freestyle avec ce qu’on a, voir changer les règles au milieu mais le résultat est plus dur à valider. C’est ce que préfère faire le Pr Raoult

https://twitter.com/Sonic_urticant/status/1332011465692295168

Mais parfois, le contexte fait qu’on ne peut pas vraiment choisir. Imaginez que vous êtes en campagne vaccinale en pleine pandémie mondiale, avec un vaccin qui a déjà été validé ? Ca vous rappelle quelque chose ?

Vous ne pouvez pas injecter un placebo à la moitié de la population alors que vous savez que le vaccin fonctionne, il a été validé. ca ne serait pas éthique et ça mettrait en peril la campagne.

Vous allez donc utiliser ce que vous pouvez du contexte pour en déduire des choses. C’est de l’observationnel (randomisé parfois) et c’est ce qui a été fait dans cette étude israélienne dont l'auteur parle nejm.org/doi/full/10.10…

Je ne vais pas revenir sur la première phrase de l’article qui est littéralement la première phrase de la méthodologie l’étude, et que c’est expliqué que c’est pas basé sur la population clairement...

Mais ensuite l’auteur part sur un calcul hyper compliqué comme quoi on a inventé des personnes âgées… alors qu’il suffisait de lire !
Regardez jusqu'où il va !

Qu’est ce qui a vraiment été fait ?
Tout d’abord on a matché les personnes entre elles, pas pour recréer la démographie israélienne mais pour pouvoir les comparer entre eux 1 à 1 avec les mêmes caractéristiques.

Ensuite, et c’est là la grosse erreur, les personnes non vaccinés peuvent recevoir le vaccin à un moment (c’est la vraie vie) et donc on arrête l’étude à ce moment-là. Elles peuvent aussi rerentrer en tant que vaccinés ensuite

Voilà, magique, on retrouve là raison pour laquelle une étude sur 3 mois pendant une campagne vaccinale fait que 3 mois après tout le monde est vacciné et on peut quand même faire une étude !
Encore une fois, on observe, on ne peut pas interférer avec la campagne.

Donc 1ère chose, quand vous voyez une étude (médicale ou autre) toujours lire la méthodologie et la source de données, parfois ça vaut ce que ça vaut, et surtout ne jamais croire @silvano_trotta !

Petit ajout, on dirait qu'il a lu mais pas compris
On ne les sort pas, on étudie la phase 1:1 jusqu'à ce qu'un événement apparaisse (virus, morts, vaccin etc)

Ah et c'est encore plus précis dans l'annexe, on travaillait en rolling cohort, donc on rematchait ce qu'on pouvait aussi.
Bref on fait avec ce qu'on a et on appuie des méthodo dessus

Comme c'est pas hyper clair pour tous :
Au 20 décembre, début de la période de l'étude, on avait peut de vacciné et beaucoup de non vacciné. Facile de matcher avec un non vacciné non.
A la fin au 20 février c'est le contraire

Entre les 2, des gens se sont fait contaminés/morts etc (rentre dans les stats), d'autres au contraire ont été vaccinés (sortie de l'étude mais repris en tant que vaccinés pour être rematché).
In fine, on arrive à ajuster les 2 bases pour les comparer sur la durée

*peu
wa j'en fais des fautes à 8h du matin
vaccinés, contaminés etc lol
bref

Ca fait tout de même un peu peur vu la catégorie dans laquelle ça a été publié
Pourtant doit bien y avoir des cours de lecture de texte

J'arrive toujours pas à comprendre ses chiffres en tout cas, vu qu'on voit bien que 50% des gens n'ont pas étés vaccinés avant le 1er février de toute manière, et le reste est bien dépendant des vaccinations pendant la durée du test. C'est écrit 259K matchs non vaccinés puis oui

L’auteur de l’article m’a fait une belle réponse, et c’est tant mieux pour la discussion ! On va reprendre certains points car ils méritent effectivement d'être discutés !

Tout d’abord l’auteur s’étonne qu’on ne garde pas la répartition d’âge tout le long. Or c’est impossible dans la vie réelle, car au départ les personnes > 60 étaient sur-représentés dans les vaccinés. Ca n’a jamais été un critère. Le seul critère est de faire du matching 1 :1

D’ailleurs l’auteur s’auto répond, oui c’est ça au début il n’y avait que des 70+, et on a ajouté les autres classes d’âge au fur à mesures de leur vaccination (probablement, vu qu'ils étaient pas vaccinés...)

On constate d’ailleurs que la majorité des inclusions/exclusions sont faites avant le 15 janvier, car on vaccinait beaucoup à ce moment-là. Pareil sur l’âge, plus de fluctuations chez les personnes âgés (il faudrait la combinaison des 2 pour rassurer notre ami)

L’étude n’a pas duré 1 mois par personne forcément, mais le temps de comparaison avant événement et follow up

D’ailleurs on voit bien qu’on part d’une basé éligible de 1,1 millions (x2) et qu’on ne peut matcher sans exclure finalement que 596k(x2) – bcp d’exclusions pendant la période donc et principalement chez les personnes plus âgés (% éligible > VS matched finalement utilisé)

Encore une fois le but n’est pas d’avoir 79 000 personnes à un moment ou à un autre mais des match 1:1 tout le long. On peut avoir 79 000 au début et 0 à la fin après 1 mois.

D’ailleurs à mi-janvier on était (pour la 1ère dose) à peine à 80%, pas au début janvier comme il le dit… Oui mais …

Il semblerait aussi qu’on gagne 2 semaines avant d’exclure, car on part du principe que le vaccin ne protège de rien les 14 premiers jours. Donc le vieux vacciné le 14 janvier est encore éligible 2 semaines. A vérifier.

Encore un point important les follow up ne sont pas toujours sur la même durée, donc on match mais on ne suit pas sur 1 mois entier forcément.

Et pour cette question, en fait ils étaient déjà dans votre réponse précédente, ils faisaient des premiers matchés ! On ne recrute pas pour l’étude, c’est de l’observationnel, on fait comme on peut avec les données qu’on a

En regardant les chiffres des graphs on voit aussi qu’on « perd » des gens à risques le long de l’étude, vu que les matchings se perdent peu à peu. (number at risk diminue)

Je pense que ce qu’il faudrait pour rassurer notre ami, c’est les répartitions de maching dans le temps avec l’âge. A demander à ceux qui ont fait l’étude ?
Bref on n’a pas inventé des gens, mais on n’a pas compté comme l’auteur le pense.
Demandez aux auteurs !!!!

Par contre je suis d'accord que dans la presse on l'impression que c'est une étude de 2 groupes séparés et pas du matching 1:1 sur une période glissante

Point bonus, on utilise la méthode Kaplan-Meier tout le long, c'est justement parce qu'on ne peut pas vraiment savoir la survie des groupes l'on test, quand il ne reste pas stable dans le temps
ncbi.nlm.nih.gov/pmc/articles/P…

Quelques réponses supplémentaires...

https://twitter.com/arikouts/status/1366529551375998978