Thread by @tomdabassman

Heute ging auf Twitter diese Studie viral:
'Die Auswirkungen nicht-pharmazeutischer Interventionen auf die COVID-19-Sterblichkeit:
Ein verallgemeinerter synthetischer Kontrollansatz über 169 Länder hinweg' (frontiersin.org/articles/10.33…)

1/n

Hier eine genauere Darstellung des Studiendesigns:
Die Autoren verfolgen einen empirischen Ansatz durch die Verknüpfung von zwei Datensätzen in einer Matrix:
Die C19-Sterbefälle aus ourworldindata.org mit den Massnahmen aus dem 'OxCGRT' covidtracker.bsg.ox.ac.uk

2/n

Sie bilden zu diesem Zweck für jede Maßnahme zwei Pools: Länder, die eine Maßnahme angewandt haben, und solche ohne (Kontrollgruppe). Durch Stückeln auf kleinere Zeiträume und verschiedene Maßnahmen ergibt sich mathematisch eine Matrix, eine Art mehrdimensionaler Dreisatz.

3/n

Dadurch soll ermöglicht werden, die Wirkung der verschiedenen Variablen quasi 'herauszudestillieren', um sie von anderen Einflüssen zu trennen - das Hauptproblem bei der Beurteilung des Effekts von Maßnahmen, man denke nur an Saisonalität.
Der Ansatz überzeugt imho.

4/n

Der Code ist open source: github.com/ruettenauer/Re… (ich gestehe, ich habe ihn nicht untersucht). Wir gehen davon aus, daß die Autoren gut rechnen können.
Er liefert nun also für jede Maßnahme (über den angewandten Zeitintervall in Tagen) einen Graph, in dem auf der Y-Achse

5/n

die Entwicklung der absoluten Anzahl an C19-verbundenen Todesfällen pro Mio EW während der Maßnahme dargestellt wird.
Die gestrichelten Linien zeigen den verlängerten Trend der letzten 35 Tage vor der Maßnahme an, ein weiterer Indikator.

6/n

Beispiel Kontaktverfolgung:
In manchen Länder wie UK mit Millardenaufwand bis zum Excess betrieben, auch in Deutschland monatelang das Thema #1.

Was hat sie bewirkt? Wenig bis Nichts:

7/n

Beispiel medizinische Masken:

Kein positiver Effekt, sogar ein leicht negativer Spin zu höherer Sterblichkeit (der #FoegenEffekt?)

8/n

Beispiel geänderte Teststrategie (kostenlose Bürgertests, Schultests, 3G am Arbeitsplatz usw.):

Pendeln um die Nullinie, nach einigen Monaten ein kurzer, leichter Effekt feststellbar.

9/n

Beispiel 'Stay at home' (also Home Office, Lockdowns):

Nach dem Versatz von max.3 Wochen zw.Infektion und Tod tatsächlich zuerst mal ein positiver Effekt, die Sterblichkeit sinkt.
Nach zwei, drei Monaten Isolation wird der Effekt aber abrupt negativ, dreht dann wieder.

10/n

Beispiel Schulschliessungen, ein gerade in Deutschland heiß umstrittenes Thema:

Das Diagramm ist eindeutig - Schulschließungen um Oma und Opa zu schützen haben lt.Studie genau das Gegenteil bewirkt. Erst nach Monaten leichter positiver Effekt.

11/n

Weitere Maßnahmen wie Einschränkungen des Verkehrs im Inland und des Grenzverkehrs, Schließung von Betriebsstätten:

Effekte im Trendkorridor, im längeren Verlauf auch negativ.

12/n

Zuletzt noch die Isolation der Alten in Heimen, euphemistisch mit 'Schutz der Älteren' betitelt:

Ergebnis vernichtend.

13/n

Die Studie ist aktuell peer-reviewed von zwei Wissenschaftlern aus Vietnam.
Meine Einschätzung dazu:
Ich halte den Ansatz für richtig, die Datenbasis aber insbesonders beim OxCRGT für fragwürdig. Maßnahmen sind temporär und regional schnell sich ändernd schwer zu erfassen.

14/n

Frühere Auswertungen mit dem Oxford Stringency Index gaben gelegentlich Rätsel auf.
Der abrupte Kurvenverlauf bei 'Stay at home' deutet auf ein statistisches Artefakt hin, daß in dieser Größe nicht tolerabel ist. Solche Ausreisser nähren Zweifel auch an anderen Ergebnissen.

15/n

Bei der angewandten GSC-Methode (cambridge.org/core/journals/…) ist das Ergebnis zwar umso besser, je breiter die Datenbasis, das gilt aber nur wenn die Daten verlässlich sind. Aus Erfahrung mache ich hier aber ein Fragezeichen dran.
Die Methode ist gut, manche Daten aber wohl nicht.

Addendum:

Was die Studie aber bewiesen hat ist, wie schwer, ja schier unmöglich es ist, die Wirkung all dieser kaum je hinterfragten Maßnahmen in der Praxis nachzuweisen.

Auf solch dünner Basis ist ein weiterer Eingriff in das Leben von Millionen Bürgern nicht zu rechtfertigen.

fyi @StefanHuster