Thread by @JaimeBorjas11

Goed, geïnspireerd door het verslag van het gesprek van onze oversterfterapporteurs met de Nederlandse Instituten, nog een kijkje naar hoofdstuk zes van het verslag #meesterjacobs.
TL;DR: ❗️ vermoeden dat er een (verkeerde) analytische greep het verschil extremer heeft gemaakt 😵‍💫

Eerst wat context: veel van de deliberaties van de klankbordgroep (waar Meester, zo lijkt het, 3 tot vier keer mee heeft vergaderd) gingen over onder andere de analyse van het RIVM van ⬇️ Men vindt 70-80% lagere sterfte voor gevaccineerden 4 weken na prik

Je zou dan denken, Meester/Jacobs gaan dat herhalen, en weten precies hoe dat dan beter zou moeten, al dan niet geïnformeerd door nota bene hun eigen systematische review. Herhaal de fouten niet die anderen gemaakt hebben etc.

Nu, wat zijn de twee belangrijkste wijzigingen in de analyse? Samenvattend:
1) Het gebruiken van een matching algoritme
2) Het verlaten van een rekenmodel (Cox proportional hazards regression), en beschrijvende curves tekenen: Kaplan Meier curves.

In het bijzonder wordt het RIVM verweten dat het in hun aanpak zogenaamde "immortal time bias" heeft geïntroduceerd. Dit is helaas, zucht, niet waar. En, tenzij er nog een 2e orde nuance achter zit, toont een matig begrip van survivalanalyse.

De werkelijkheid is dat het RIVM een modelingreep heeft gedaan die elke cursist survival analyse leert om immortal time bias te voorkomen. Een beknopte uitleg. Dit zijn allemaal dingen die een basiscursist survivalanalyse leert.

Immortal time bias gebeurt wanneer een analytisch eigenlijk informatie 'uit de toekomst' gebruikt, alsof die bekend was vanaf het moment van de start van de daadwerkelijke analyse.

Stel je wilt begrijpen of Oscars winnende auteurs langer leven dan acteurs die geen oscar winnen. Zou je de informatie dat iemand een Oscar heeft gewonnen analytisch vanaf hun geboorte laten meetellen? Dit is ooit zo gepubliceerd pubmed.ncbi.nlm.nih.gov/11352696/

Schematische weergegeven, ziet het er zo uit. 1 geeft aan wanneer de status oscar winnaar wordt toegekend. In de bovenste tabel wordt oscar winnende status toegekend voordat deze gewonnen heeft. Omdat acteur 3 overlijdt, schat deze analyse in dat betere overleving voor oscarwinst

De reden dat dit immortal time bias wordt genoemd is dat tot tijdspunt 3 de Oscarwinnaar *onsterfelijk* is. En nu terug naar het RIVM model: zij hebben gewoon het juiste gedaan, en vaccinatie gaat pas tellen vanaf tijdspunt 3.

Dixit RIVM: "time dependent exposure"

Daarna is er nog een ander aspect die aftekent dat de onderzoekers onbewust onbekwaam zijn met betrekking survival analyse- het gebruik van Kaplan Meier (KM) curves wanneer sterfte wordt opgesplitst tussen corona en geen corona.

Een KM curve voldoet dan niet meer. Doorgaans worden sterfterisico's overschat. Ook dit is basiscursus survival analyse materiaal. Korte uitleg in maar 1 tweet

In de volgende situatie schat een kaplan meier curve het risico op sterfte door covid op 50% en non-covid op 100%. Dat laatste moet 50% zijn. Dit komt omdat de kaplan meier aanneemt dat persoon 1 dezelfde risico's zou hebben gehad op tijdspunt 3 (non informative censoring)

De sterfte schattingen worden erger vertekend naarmate er meer sterfte is in de 'competerende' sterfteoorzaak. De methode die daar geen last van heeft heet daarom ook competing risks analyse.
pubmed.ncbi.nlm.nih.gov/17031868/

OK, dank voor het volhouden!
Waar denk ik dat er iets mis is gegaan?
Resumerend:
- de onderzoekers menen dat het RIVM analyse gebiasd is op een manier die het vax/nonvax verschil groter maakt.
- ze menen dat hun matching methode beter healthy vaccinee effecten zou aanpakken.

Je zou verwachten dat de relatieve risico's ten opzichte van de RIVM analyse dan omlaag zouden gaan? Dus 70-80% wordt, ik zeg maar wat, 50-60%?

Het resultaat lijkt, als ik de grafieken door op ongeveer 95% te komen. Dat noemen ze zelf ook: web.eecs.utk.edu/~dcostine/pers…

Misschien lijkt dit gemuggenzift, maar het verschil tussen 95% en 75% is nog een factor 4 in sterfte!! De vertekening al in de RIVM analyse zat is in hun analyse nog eens verdubbeld.

Ik begrijp misschien nu iets meer van hun standpunt dat er wel datavervuiling *moet* zijn. Maar zoals ik hopelijk heb beargumenteerd, lijkt het me vele malen waarschijnlijker dat er in de analytische stappen iets fout is gegaan.

Ik denk niet dat het in de KM methode, maar vooral matching algoritme zit. Het is in hun beschrijving niet duidelijk of de rode stip een ongevaccineerde mag zijn die later in de 'vaccinatiegolf' wel gevaccineerd is.

Wanneer je in week 3 een gevaccineerde selecteert en wilt matchen op een ongevaccineerde, zijn er 3 soorten ongevaccineerden:
1. een ongevaccineerde die ongevaccineerd blijft en blijft leven
2. als 1 maar die overlijdt
3. een ongevaccineerde die obligaat overleeft tot vaccinatie

Je ziet dat een controle groep die alleen 1 en 2 behelst die obligaat hogere algemene sterfte heeft, en ook gezien healthy vaccinee effecten, dit ook heel sterk zou kunnen zijn.

Maar is inclusie van 3 geen immortal time bias?? Het is inderdaad immortal time, maar het is geen bias: je bent geen informatie uit de toekomst aan het gebruiken, zolang het matching algoritme *willekeurig* matcht op tijdstip x.

Als je toekomstig gevaccineerden excludeert, dan ben je wel informatie uit de analytische toekomst aan het gebruiken, en dat is een systematische selectie, en dus gebiasd.

Nogmaals, ik *vermoed* dat dit is wat fout is gegaan. Er moeten dus meer details over matching op tafel

Naschrift: onbewust onbekwaam is wat te sterk verwoord! Er kunnen best genuanceerde redenen zijn waarom men denkt dat er in de RIVM analyse immortal time bias is, en dat men daarover niet al te veel heeft uitgewijd. Het is mogelijk dat daar kort door de bocht is geschreven.

Als er geen antwoord komt, een andere reden om te vermoeden dat de verkeerde matching algoritme is gedaan is de 3:1 matching ratio. Links in de tijd zouden er juist meer dan genoeg ongevaccineerde matches mogelijk moeten zijn, rechts in de tijd minder.