Thread by @JaimeBorjas11

Naar aanleiding van wat feedback nog 1 poging om het probleem in de analyse opzet van BJM (Bakker Jacobs Meester) in hoofdstuk 6 eenvoudiger weer te geven! Waarom geeft het gebruik van 'nooit gevaccineerden' een vertekend beeld??? 🧵

https://twitter.com/JaimeBorjas11/status/1893625580639142179

In dit draadje zal ik de data presenteren in eenvoudige tabellen, zodat met optellen, aftrekken, delen en begrijpen van breuken het te volgen is.

Overigens vragen epidemiologen heeeeeel vaak als het ingewikkeld wordt: hoe wordt de deler gedefinieerd? Dit gaat terugkomen 🤓

Wanneer we cohort/survival analyses opbouwen, willen dit zo opzetten zodat eerlijk vooruit wordt gekeken. Immers, achteraf weten we alles en is het ook mooi wonen. Of anders gezegd in een artikel die uitleg hoe je deze analyse doet zoals het RIVM het doet: "you cannot look into the future"

We willen dus een goede prospecto (vooruit) scoop (kijker). Welke bekende fout gaat er met hun prospectoscoop?

Laten we hiervoor het hele politiek-/maatschappelijke context van coronavaccinaties loslaten voor wat het is, en een gedachtenexperiment doen. Eigenlijk denken we na over het ontwerp van zo’n prospectoscoop, en werken uit of deze in een hypothetische situatie zal voldoen.

1) Laten we ons voorstellen dat we een homogene populatie van 10000 personen gaan volgen in jaar 2021, en
2) dat die populatie een homogeen sterfte patroon heeft, met een overzichtelijke maar hoge sterfte: van de overgebleven populatie overlijdt elke week 1%.

3) Laten we ook zeggen dat vanaf week 0 van dat jaar, een willekeurige 10% van de beginpopulatie elke week wordt blootgesteld aan een prik met zoutwater oplossing gedurende 3 weken en daarna niet meer. Dan is de uiteindelijke vaccinatiegraad ~30%.

4) Voor onze hypothetische situatie gaan we er ook vanuit dat er dus geen verstorende variabelen zijn (confounding/misclassificatie) en;
5) Voor de overzichtelijkheid van het gedachtenexperiment gaan we in eerste instantie kijken naar het risico op overlijden binnen 1 week.

We verwachten van een prikje zoutoplossing niet zoveel, dus een goede prospectoscoop zou geen verband moeten laten zien tussen de prik en sterfte.

Vereenvoudigd zou dat er, als er elke week apart wordt gekeken & alleen in die week sterfte wordt bekeken, het er zo uit moeten zien als we alleen de geprikten van die week vergelijken met de mensen die in die week geen prik kregen.

NB: De geprikten van week 1 doen niet mee in week twee.

De tabel hierboven kijkt naar de weken afzonderlijk. Als we geinteresseerd waren in de algemene sterfte tussen de groepen dan zou dat er zo uitzien:

Maar wat BJM doen, is een prospectoscoop bouwen waarbij ze de groepen kunnen indelen in:
- deze week gevaccineerd
- toekomstig gevaccineerden
- nooit gevaccineerd.
en negeren de toekomstig gevaccineerden in hun steekproef.

Als we alleen in de eerste week kijken, zijn de delers voor die groepen, omdat uiteindelijk 20% in de toekomst geprikt wordt, als volgt:

En nu komt het belangrijk punt. Wat is de sterfte? De 90 doden moeten herverdeeld worden onder deze delers. Maar die toekomstig gevaccineerden kunnen niet in deze specifieke week niet doodgaan!

Die teller van voor toekomstige gevaccineerden voor week 1 moet 0 zijn in die specifieke week! en dan komen alle 90 doden van de eerste tabel in de nooit gevaccineerde groep, terwijl de deler wel wordt verkleind. De geobserveerde sterfte in deze greep wordt dan:

Er is dus een verstoring in de deler en die verstoring gebeurt omdat men die gedreven is door in de toekomst te kijken. Dat is geen goede prospectoscoop dus.

In methodestukjes wordt dan ook gezegd dat je deze onsterftelijke tijd voor de niet-blootgestelden niet weg moet gooien:
"Bias is introduced when this period of “immortality” is either misclassified with regards to treatment status or excluded from the analysis"
doi.org/10.1136/bmj.b5…

Goed, je krijgt geen betrouwbare resultaten. Je kunt hier stoppen als je wilt. Maar we kunnen ook een benadering krijgen van hoeveel hun resultaten zijn vertekend en of dat klopt met wat we zien.

Ik heb in het voorbeeld maar 30% vaccinatiegraad aangegeven, zodat de tabel geen 50 kolommen zou worden. Maar als uiteindelijke vaccinatiegraad hoger is, wordt het probleem helaas erger.

Als de vaccinatiegraad ergens tussen de 80 and 90% wordt, krijg je in de eerste week en nog verdere inkrimping van de deler, maar nog wel dezelfde teller. Bij 85% vaccinatiegraad:

Dit is alleen in de eerste week. Maar we kunnen dit ook uitbreiden in de tijd en dan kruipt het wekelijkse % dichterbij. Nogmaals de teller moeten we van de allereerste tabel nemen.

Je ziet dat het sterfte % afneemt in de tijd. Dat is logisch, zoals hierboven hebben laten zien is het verschil gedreven door kunstmatige verkleining van de deler door toekomstig gevaccineerden uit te sluiten. Hoe verder de tijd vordert...

hoe meer de ‘nooit gevaccineerde’ deler dichterbij de toekomstig gevaccineerd+nooit gevaccineerd deler gaat lijken, totdat de campagne stopt. Bij 90% vaccinatiegraad:

De gemiddelde vertekeningsfactor van de gehele analyse zal dan bij 90% vaccinatiegraad ergens in het midden van de vertekeningsfactor liggen. dus een factor 4-5. Dat lijkt overeentekomen met de factor 4 hogere sterfte tav RIVM.

Omdat we steeds met een overzichtelijke sterfte risico van 1% per week hebben gewerkt, kunnen we verder denken hoe resultaten elders vertekend worden door deze greep, zoals in het tweede gedeelte van het hoofdstuk. De tweede grafiek is ‘gematcht’:

De belangrijkste observatie dat wordt gedaan daar is dat de sterfte omhoog schiet als de vaccinatiecampagne in de gematchte tijdsseries (onderste plaatje). We kunnen omrekenen met ons gedachte experiment ook hoeveel de geobserveerde sterfte verwacht omhoogsciet.

Laten weer de figuur pakken, die laat zien dat voor cohort 1940-1950 de uiteindelijke vaccinatie graad 90% is. In de eerste week is de deler in ons dan dus gedachtenexperiment 1000
met wederom geen wijziging in de teller: 90

Tot nu toe hebben we de 3:1 verhouding er niet bijgepakt, omdat het ging om het directe verschil tussen gevaccineerde en ongevaccineerden. Het sterfte percentage per groep wordt door de 3:1 verhouding niet verandert.

Maar voor de vertekening van de gecombineerde sterfte is die verhouding wel belangrijk. De oorspronkelijke delers gaan van 1000:1000 naar 1000:333. De % sterfte blijft bij een aselecte steekproef ongewijzigd, en dan vullen we een nieuwe teller in:

De totaal waargenomen sterfte ten opzichte van wat hij zou moeten zijn (1%) is dan...

3%. Drie keer hoger dus.

Hieronder de verschuiving in de totaal waargenomen sterfte in % de grafieken van ‘ongematcht’ naar ‘gematcht’. Tijdens het draaien van de steekproeven spring de algehele sterfte van 0.2% naar 0.6-0.7%. Dat lijkt redelijk overeen te komen met de verdrievoudiging

Wat zijn de beperkingen? Het is natuurlijk zo dat mijn gedachtenexperiment ietwat grof is, omdat ik doe alsof zaken heel discreet wekelijks gebeuren.

Je kunt het ook in een statistisch programma stoppen, en tijd laten doorlopen. Dan krijg je links de juiste analyse, en rechts de verkeerde

En dan herhaal je steekproefjes over de tijd, en dan zie je dat, hoe later je in de vaccinatiecampagne een steekproef draait hoe minder sterk de vertekening wordt (vlnr steekproeven ‘later’):

Belangrijk om te benadrukken dat bovenstaande losstaande steekproeven zijn. In de opzet van de auteurs zijn de kaplan meiers een gemiddeld resultaat van bovenstaande grafieken, die denk ik niet altijd allemaal evenredig bijdragen aan het totaalplaatje.

Maar het patroon lijkt herkenbaar:

Ik laat iedereen zijn eigen conclusies trekken. Maar tag toch even betrokkenen @jonawalk & anonieme medestander @bramkoers_tweet. Ik denk dat @bonneklok & @HansV_16 dit ook wel interessant vinden.