1/n Mit meta-studie med forskere fra Johns Hopkins og Lund har medført megen debat og kritik. Kritikken kan opdeles i:
1) Misinformation om studiet
2) "Sådan er det bare"
3) Gode pointer, der skal med i en opdateret version
En 🧵
sites.krieger.jhu.edu/iae/files/2022…
#dkpol #covid19dk
1) Misinformation om studiet
2) "Sådan er det bare"
3) Gode pointer, der skal med i en opdateret version
En 🧵
sites.krieger.jhu.edu/iae/files/2022…
#dkpol #covid19dk
2/n Lad os starte med misinformationen, som bl.a. @ProfPHansen har bidraget stærkt til.
Det er en fejlopfattelse at tro, at studiets resultater er baseret på ét studie.
Det er rigtigt, som @ProfPHansen skriver, at ét studie vægter meget højt, men...
Det er en fejlopfattelse at tro, at studiets resultater er baseret på ét studie.
https://twitter.com/ProfPHansen/status/1489366528956919808?s=20&t=R5G26KInzihqTFrf0u7MNg
Det er rigtigt, som @ProfPHansen skriver, at ét studie vægter meget højt, men...
3/n ...fjerner man studiet helt fra analysen, ændrer estimatet sig kun fra -0,2" til -3,5%. Det står i vores fodnote 35.
Chisadza et al. (2021), har ført til yderligere spørgsmål. "Hvorfor bruger I
a) et studie, hvor I ikke er enige i konklusionen.
b) deres lineære estimat
Chisadza et al. (2021), har ført til yderligere spørgsmål. "Hvorfor bruger I
a) et studie, hvor I ikke er enige i konklusionen.
b) deres lineære estimat
4/n Chisadza et al. konkluderer, at meget strikse lockdowns virker. Men det er ikke det, deres resultater viser. De viser, at lockdowns fører til *flere* dødsfald, for mulige værdier af stringency index (0-100). Det har jeg tidligere skrevet om her.
punditokraterne.dk/2021/11/01/er-…
punditokraterne.dk/2021/11/01/er-…
5/n Hvorfor bruger vi så deres studie? Fordi deres analyse lever op til vores kriterier. At de fortolker dem forkert, er en anden sag. Det er helt normalt at se bort fra forskernes egen fortolkning og alene forholde sig til deres resultater.
6/n Hvorfor bruger vi så resultatet fra deres lineære model og ikke fra deres kvadratiske model? Noget @ProfPHansen også kritiserer:
Vi skriver "In the meta-analysis we use the non-linear estimate, but the squared estimate yields similar results."
https://twitter.com/ProfPHansen/status/1489389713777696769?s=20&t=R5G26KInzihqTFrf0u7MNg
Vi skriver "In the meta-analysis we use the non-linear estimate, but the squared estimate yields similar results."
7/n Og her tager vi faktisk fejl. Bruger man det kvadratiske estimat, er effekten næsten 3 gange større. Men det er altså *flere* dødsfald. Så vi er faktisk konservative ved at bruge det lineære estimat. Men det skal selvfølgelig rettes og beskrives korrekt i en opdateret version
8/n En del kritik går også på, at der er for få studier til at sige noget. Det er muligvis rigtigt (om end vi har flere, end der fx kræves for at få godkendt ny medicin). Men vi har ALT med, der lever op til vores kriterier, som blev fastlagt tidligt i forløbet.
9/n Skal man ændre på kriterierne? Min opfattelse er, at det vil være uvidenskabeligt at ændre på sine kriterier, bare fordi man er misfornøjet med resultatet.
Bottom line er, at "sådan er det bare". Der er 24 studier, og de finder altså, hvad de nu engang gør.
Bottom line er, at "sådan er det bare". Der er 24 studier, og de finder altså, hvad de nu engang gør.
10/n Men hvor kommer de 24 fra? @ProfPHansen påpeger , at det er uklart, hvordan vi kommer fra 34 til 24. Når jeg genlæser vores studie, er jeg enig. Det ER uklart.
Helt kort: 10 studier kan ikke omregne til vores "common estimate", som er relativ (%) effekt på dødelighed.
Helt kort: 10 studier kan ikke omregne til vores "common estimate", som er relativ (%) effekt på dødelighed.
11/n Mccafferty and Ashley (2021) ser fx på "peak death" som ikke er mulig at omregne til en % reduktion (de finder i øvrigtingen signifikant effekt af nedlukninger).
Men det kan man ikke læse fra vores korte beskrivelse 👇, og det skal selvfølgelig forbedres i opdateret version
Men det kan man ikke læse fra vores korte beskrivelse 👇, og det skal selvfølgelig forbedres i opdateret version
12/n En del kritik synes i sidste ende at relatere til, hvor hårdt man kan konkludere på baggrund af resultaterne. Skal man konkluderer, "lockdowns har lille effekt" eller "vi finder ikke evidens for, at lockdowns har stor effekt".
Det er en rimelig diskussion, mener jeg.
Det er en rimelig diskussion, mener jeg.
13/n For hvor meget skal der til, før man kan konkludere at noget har "lille" effekt?
Jeg synes personligt ikke, at vores konklusion er så meget skarpere, end fx Flaxman et. al (2020), som blev omtalt vidt og bredt, på trods at helt *åbenlyse* problemer (se markering med gul).
Jeg synes personligt ikke, at vores konklusion er så meget skarpere, end fx Flaxman et. al (2020), som blev omtalt vidt og bredt, på trods at helt *åbenlyse* problemer (se markering med gul).
14/n Jeg har også fået masser af gode inputs. Både på mail og i tråde på Twitter (Tak til @ProfPHansen for at henvise til det uklare i 34 -> 24, jf. ovenfor). Det modtages med kyshånd. Arbejdspapirer udgives bl.a. for at få kommentarer, så det kan blive endnu bedre.
15/n I kan finde svar på mange flere spørgsmål på min blog, hvor jeg har lavet en FAQ (opdateres løbende): punditokraterne.dk/2022/01/30/faq…
Jeg ser pt. ikke (læs: langt fra) alt på SoMe. Så har du et vigtigt spørgsmål/kommentar, så send mig en mail :-)
Jeg ser pt. ikke (læs: langt fra) alt på SoMe. Så har du et vigtigt spørgsmål/kommentar, så send mig en mail :-)
• • •
Missing some Tweet in this thread? You can try to
force a refresh
