Thread by @BMauschen

Warum sind Felddaten zur Effizienz von Impfstoffen teilweise so schwierig sicher zu interpretieren? Schauen wir uns das mal an.
Bei einer idealen Studie gibt es zwei Gruppen, die Intervention (Impfung) und die Kontrolle (Placebo) - beide sollten bis auf die Intervention so 1/23

ähnlich wie irgend möglich sein - also z.B. Alters- und Geschlechtsverteilung, ethnischer Hintergrund, Häufigkeit von Vorerkrankungen usw.
Außerdem sollte die Intervention in einem möglichst definierten Zeitraum erfolgen. In der Summe sollte dann der einzige Unterschied eben 2/n

diese Intervention sein und ein Unterschied z.B. in der Zahl der Infektionen sollte nur auf diese zurückgehen. Dann lässt sich daraus auch leicht eine Effizienz der Impfung errechnen.
Sind die Gruppen aber nicht sehr ähnlich, dann können eben diese Unterschiede auch zu 3/n

Unterschieden im Ergebnis beitragen. Und genau das passiert, wenn wir von einer kontrollierten Studie zu einer Impfkampagne und Felddaten übergehen.
Impfen wir am Anfang der Kampagne vor allem Risikogruppen mit einer hohen Wahrscheinlichkeit einer (schweren) Infektion, dann 4/n

zeigt der Vergleich Geimpfte/Ungeimpfte eine scheinbar verringerte Effektivität der Impfung, denn 80% verhinderte Infektionen ergibt in einer Gruppe mit vielen Infektionen immer noch relativ hohe absolute Zahlen.
Umgekehrt können Geimpfte das Bild auch in die andere Richtung 5/n

verzerren, wenn andere schützende Faktoren dazukommen. Sind z.B. viele Menschen geimpft, die die Pandemie trotzdem noch ernst nehmen und auf Hygiene achten und viele Querdenker nicht, dann ist der zwischen den Geimpften und Ungeimpften beobachtete Unterschied größer als 6/n

die Impfung alleine es bewirken würde.
Einige solche Unterschiede kann man herausrechnen, wenn man z.B. die Altersverteilung der Gruppen kennt, aber dazu braucht man oft sehr gute Datensätze, die bei "Felddaten" so nicht immer vorhanden sind.
Noch schwieriger wird es, wenn die7/n

Gruppen sehr unterschiedlich groß sind. Im Extremfall (100% einer Altersgruppe geimpft) hätte man gar keine geeignete Vergleichsgruppe mehr und könnte daher auch aus den Daten gar keine Effektivität mehr berechnen.
Aber auch Vergleichgruppen die "nur" viel kleiner sind bergen 8/n

Probleme, da kleine Stichproben eher zu Extremen neigen ("Gesetz der großen Zahl" - einfaches Beispiel: Bei einem Würfelwurf ist die Chance auf nur 6er 1/6, bei zwei Würfen nur 1/36 usw.). Bei Corona wird das durch die Rolle, die Superspreadingereignisse spielen noch 9/n

erschwert: Bei einer kleinen Kontrollgruppe würde schon das Vorhandensein oder Fehlen eines solchen Ereignisses die Zahlen deutlich verzerren - während die zu erwartende Verteilung solcher Ereignisse in der größeren Gruppe viel wahrscheinlicher ist.
Es wird aber sogar noch 10/n

komplizierter, wenn sich zusätzlich zu z.B. dem Impffortschritt äußere Bedingungen ändern (z.B. Saisonalität oder Virusvarianten) und so Daten innerhalb eines Messzeitraums irreführend werden können.
Ein theoretisches Beispiel: Sei die Impfung immer zu 80% effektiv und im 11/n

ersten Monat sind 10% der Bevölkerung geimpft und die Wahrscheinlichkeit einer Infektion läge bei 5%. Dann hätten wir von 100.000 Personen:
10.000 Geimpfte mit 100 Infektionen (5% von 10.000, davon 80% verhindert)
90.000 Ungeimpfte mit 4.500 Infektionen 12/n

In Monat zwei bleibt die Impfung gleich effektiv, aber inzwischen sind 90% geimpft und eine neue Virusvariante verdoppelt die Wahrscheinlichkeit einer Infektion:
90.000 Geimpfte mit 1.800 Infektionen (10%*0,2=2% von 90.000)
10.000 Ungeimpfte mit 1.000 Infektionen 13/n

Für jeden Monat ergäbe sich also eine Effektivität von 80% für die Impfung. Rechnen wir aber beide Monate einfach naiv zusammen, dann haben wir:
100.000 Geimpfte mit 1.900 Infektionen
100.000 Ungeimpfte mit 5.500 Infektionen
Daraus ergäbe sich 1.900/5.500 = 34,5%, also nur 14/n

eine scheinbare Effektivität von 65,5%!
Ideal wäre eine Datenerhebung immer nur in einem sehr engen Zeitfenster, um Verzerrungen durch sich verändernde Bedingungen zu verhindern und andererseits möglichst große Zahlen an Fällen, um andere Effekte herausrechnen zu können...😫15/n

All das zusammen (und mehr) führt also dazu, dass Felddaten weniger eindeutig sind als kontrollierte Studien und ihre Interpretation oft auch von einer Reihe von Annahmen abhängt, die in eventuelle Korrekturen einfließen müssen.
Bei sehr eindeutigen Unterschieden macht das 16/n

nicht so viel aus - deshalb ist auch z.B. die Aussage, dass in allen Ländern die Daten zeigen, dass Geimpfte viel seltener schwer an Infektionen mit Delta erkranken sicher zu treffen.
Bei genauen Zahlenwerten und kleineren Unterschieden wird es aber schwieriger, z.B. wenn 17/n

wir unterscheiden wollen, ob die Effektivität der Impfung von 80% auf 72% oder 66% sinkt.
Und das ist vielleicht die wichtigste Take-Home-Message bei den derzeit kursierenden Vergleichen der Wirkung von Impfungen gegen Delta aus Israel, UK, USA usw.:
Wir können gleichzeitig 18/n

sicher sein, dass die Impfungen auch gegen Delta sehr effektiv sind, gute Hinweise auf eine reduzierte Effektivität in Israel haben und Schwierigkeiten haben, sicher zu sein, wie stark reduziert sie sind und was alles zu dieser Reduktion beiträgt (z.B. Immunitätsabnahme, 19/n

Verhaltensänderungen, Saisonalität, Variantenmixe...)
Und es kann sogar sein, dass wir wirklich verlässliche Antworten nicht auf alle diese Fragen bekommen, da sich die Lage schon wieder geändert haben kann, bevor wir genug Daten für Aussagen mit sehr hoher Sicherheit haben. 20/n

Und ja, das ist frustrierend, aber man sollte sich dadurch nicht davon ablenken lassen, dass
a) Die Impfung auch mit (evtl. nach ein paar Monaten) etwas reduzierte Effektivität sinnvoll bleibt
b) zu Boosterimpfungen als möglicher Lösung des Problems v.a. für Risikogruppen 21/n

bereits Studien laufen und
c) wir fortlaufend mehr Daten bekommen und bei einem klareren Bild dann auch besser bewerten können

Oh, und falls Ihr Euch jetzt verwirrter fühlen solltet als vorher, seht das als etwas positives - denn ein Bewusstsein dafür was man nicht sicher 22/n

weiss, ist essentiell für gute Wissenschaft. Auch wenn es manchmal nervt. Auf der anderen Seite bleibt das weiterforschen und -lernen so spannend und das Hirn rostet nicht!

Mäuschen out 🐭

(23/23)