Thread by @FrankfurtZack

Studienergebnisse verwirren. Oft sind sie widerspruechlich, lassen mehrere Deutungen zu.

Wie geht man an Studieninterpretation heran?

Hier das Beispiel der Denmask-19 Studie,die auch einen Hinweis darauf gibt, ob das Maskentragen wirklich nur an der "Compliance" scheitert.🧵⏬

Die Denmask-19 Studie ist eine der wenigen Studien aus der Covid-19-Zeit, die #Cochrane für methodisch hochwertig genug hält, um sie in ihren seit langem bestehenden Review zu Masken mit aufzunehmen.

spectator.co.uk/article/do-mas…

Das Design der Studie ist simpel.

Grundsätzlich gilt übrigens: je einfacher das Studiendesign, desto besser.

Man versendete randomisiert Masken mit der Aufforderung, diese möglichst immer zu tragen, wenn man außer Haus auf Fremde trifft.

Dann schaut man, wie viele sich infiziert haben.

Nun nehmen wir an, Masken hätten keinen Effekt.

Es besteht dann eine 50% Chance, dass entweder die Kontrollgruppe oder die Maskengruppe mehr positive aufweist. Zufall!

Es könnten aber auch z.b. 60% zu 40% sein, einfach aufgrund der Zufallstreuung.

In der Denmask-19-Studie kam nun folgendes raus:

1,8% der Maskengruppe waren infiziert, und 2,1% der Kontrollgruppe. Ist das noch Zufall oder schon ein echter Effekt?

Hier kommt nun Statistik in Spiel.

Das Ergebnis war nicht signifikant. Es ist demnach nicht von Zufall zu unterscheiden.

Die Null-Hypothese "Masken wirken nicht" kann nicht verworfen werden.

Ist vielleicht trotzdem ein Effekt da?

Nun wird es statistisch unsauber.

Man könnte trotz Durchfallen im Test davon sprechen, dass es einen "tendenziellen" Effekt für Masken gibt.

Das ist eine unsaubere Interpretation, die aber durchaus immer wieder bei Studien gemacht wird.

Vielleicht war die Studie ja "underpowered", d.h. sie hätte bei mehr Teilnehmern vielleicht doch ein signifikantes Ergebnis erreicht.

Das bleibt natürlich Spekulation.

Was kann man nun machen?

Man kann sich z.b. ein Gesamtbild der Lage verschaffen, indem man mit anderen RCTs poolt. Das ist im Prinzip das, was #Cochrane macht .

Es gibt aber noch eine andere Methode, und diese wurde in der Denmask-19-Studie angewendet:

Es wurde eine Subgruppe angeschaut von Teilnehmern, die von sich selbst behaupten, "sich fast immer an die Maskenregel zu halten".

Was würde man erwarten?

Gäbe es einen Kausalzusammenhang, und nicht nur Zufallsschwankungen, würde man erwarten, dass der Unterschied in der "streng-an-die Regeln-gehalten" Gruppe stärker ausfällt.

Im Denmask-Trial war es aber so: der Unterschied war in der Gruppe mit der guten Compliance noch geringer (!) als in der Gesamtgruppe.

2,0% vs 2,1% !

Man muss kein Statistik-Genie sein, um zu verstehen, dass dieser Unterschied erst Recht nicht von Zufall zu unterscheiden ist.

Also: die Evidenz für Maskenpflicht und Maskenempfehlungen ist verheerend schlecht, und das ganze ist mehr als ein "Compliance"-Problem...

End 🧵