Thread by @JaimeBorjas11

Eerder al hier in het engels een klein beetje over geschreven. Maar omdat de ‘grote’ Volkskrant 😉 nu bericht over een niet-peer-reviewed artikel, een poging tot peer review!🧵

https://twitter.com/mkeulemans/status/1430927121816358916

Laat ik vooropstellen, zeker met de andere artikelen die specifiek laten zien dat er een sterk immuunverval is over de tijd met het Pfizer vaccin, vind ik het best plausibel dat natuurlijke immuniteit langduriger is dan immuniteit van het pfizer vaccin.

Een tienvoudige reductie tussen gevaccineerden en ongevaccineerden staat namelijk ook gelijk aan een reductie tussen 99% en 90% als je zou vergelijken met ongevaccineerden.

Heel simpel gesteld: een natuurlijke infectie stelt je bloot aan een grotere (replicatie) én bredere (niet alleen spikeantigeen) dosis virus antigenen dan de gebruikte vaccins.

Desalniettemin: de effectmaat is zo groot (zo rond de 10x), dat roept vragen op af of dit er (onbewust) in de opzet zit.

Een van de belangrijkste zaken aan de opzet van de studie is dat de auteurs (nogmaals redelijkerwijs!) rekening houden dat geïnfecteerden nog lang PCR positief kunnen zijn.

Om dit te vermijden zeggen ze dat ze alleen kijken infecties die 3 maanden afliggen van de periode waarin delta dominant was. Omdat dit begin juni was, kijken ze alleen naar oorspronkelijke infectie vóór eind februari.

Om het eerlijk te houden kijken ze dan ook naar vaccinaties voor eind februari. Ik denk dat dit het belangrijkste peer review punt is. Nu wordt het technisch- maar globaal gaat het om selectie problemen.

Israel had weliswaar een zeer snel vaccinatieprogramma, maar door deze keuze selecteer je wel op mensen die een indicatie hadden voor relatief vroege vaccinatie in het programma. Dit zullen doorgaans mensen zijn die of klinisch kwetsbaar zijn of mensen die in de zorg werken.

De gemiddelde 30'er die gevaccineerd is, is niet hetzelfde als de gemiddelde 30'er die corona heeft doorgemaakt. De gemiddelde zestiger, die mogelijk heel ziek is geweest door corona en minder onder de mensen komt, is niet hetzelfde als de gemiddelde 60'er die gevaccineerde werd.

Daarentegen zal er mogelijk het 'verbod op testen' na 90 dagen wellicht ook doorwerken na 90 dagen. Ongemeten confounding ligt op de loer op zowel klinische zaken (die ziekenhuisopname determineren) als simpele infectie (testgedrag)

Dat 'matchen' op leeftijd dit zou oplossen klopt gewoon niet.

Korte terzijde: door ook de uitkomsten in de drie maanden weg te laten, is dit een analyse dat de facto de bekende hoge effectiviteit van Pfizer van de trials (eerste 2-3 maanden) juist niet meedoet.

Of er selectiebias is (of 'confounding by indication' in klinische kwetsbaarheid) is kunnen de auteurs toetsen door te kijken of de gavaccineerde groep ook een associatie is met andere, niet-corona gerelateerde uitkomsten:

je gelooft natuurlijk drie maanden na corona infectie of vaccinatie natuurlijk niet dat er andere invloeden zijn. Je zou dus ook kunnen kijken of er meer corona ongerelateerde ziekenhuisopnames of sterfte is. Als je dit ziet, moet je concluderen dat er ongemeten confounding is.

Dan een tweede, wat geavanceerder probleem voor de datanerds: of matching hier de beste keuze is.

Er werd gematcht op leeftijd geslacht en sociaal economische postcode niveau. Intuïtief begrijpelijk: dit zijn de basale zaken die en klinisch risico bepalen maar ook incidentie (plaats in het land).

Door te matchen lijkt de data gebalanceerd. Let op de gemiddelde leeftijd (was dit de gemiddelde volledig gevaccineerde 28 februari?)

Maar hier is het interessante: de oorspronkelijke data hadden 670.000+ gevaccineerden! De auteurs hebben om de data mooi te laten lijken voor de hoofdanalyse gegevens over 97% van hun gevaccineerden niet mee laten doen (sic!)

Er zijn twee problemen: de betrouwbaarheidsintervallen worden groter. Voor hun analyse 1 is het interval voor ziekenhuisopnames:

Ook is het matchen hier een beetje een black box. Hoe weet je eigenlijk dat je gematchte set representatief is voor gevaccineerden?

De auteurs kunnen dit simpel verkennen door een regressie te doen op de hele dataset of de matching ratio's (nu 1:1) te vergroten. Dan krijg je sowieso een minder breed interval.

De vraag is eigenlijk ook, wat boeit het? Ik zou persoonlijk zeggen dat ik meer geboeid ben in de praktische zin over het effect van leeftijd. Ik zou dus willen zien of het effect specifiek groter is (interactie!) bij ouderen, wat zou pleiten voor boosters.

Samenvattend:
1. Selectiebias/confounding by indication is niet overtuigend aangepakt door de auteurs
2. Het matchen leidt m.i. tot onnodig onprecieze schatters
3. Interessantere vragen zijn niet beantwoord

cc @XanderKoolman @MarcBonten @mkeulemans @MarionKoopmans @Ammer_B @mzelst @YorickB @WLoon @aliettejonkers @MaartenvSmeden