Thread by @DrZemouri

Cochrane review met 'meta-analyses' van allerlei preventiemaatregelen tegen respiratoire infectieziekte, wat de cijfers WEL/NIET betekenen en waarop je moet letten bij de data-interpretatie. 🧵omdat sommigen hier absurde uitspraken over doen in de media
cochranelibrary.com/cdsr/doi/10.10…

Ik start met waarom ik het woord meta-analyse tussen haakjes heb gezet. Dat komt omdat het gebruik van een meta-analyse methode niet altijd een volwaardige meta-analyse betekent en vaak gewoon data aggregatie is, wat @cochranecollab vaak doet. Lees verder: charifazemouri.com/updates/2997qe…

Overal score van de studies ziet er niet best uit, kijk eens hoeveel rode bolletjes: dat geeft aan dat er twijfel is aan de methodologische kwaliteit van de studies. We kunnen daarom niet met zekerheid zeggen of de studieresultaten t gepoolde effectmaat betrouwbaar is.

Uit deze analyse lijkt alsof het niet uitmaakt of je wel of geen masker draagt tegen voorkomen van een positieve test op Sars-cov-2 of influenza. Auteurs hadden hier sars en influenza moeten scheiden voor lage heterogeniteit. EN Deze analyse is FOUT!
Read next>>

Gewone mondneusmaskers zijn gemaakt om de drager te beschermen tegen spatten & om anderen tegen zichzelf te beschermen. Daarom is het logisch dat in analyse 1.1.2 geen effect is gevonden op een middel dat een andere functie heeft dan besmetting voorkomen bij drager. #dovemansoren

Analyse 2.2: zijn studies die effect van #n95 testen in ziekenhuissetting. C19/INF zijn een community-acquired disease CAD (gemeenschapsziekte), geen hospital acquired disease HAD. Buiten zkh worden de maskers niet gedragen mr wel C19/INF opgelopen waardoor effect onmeetbaar is

DANGER bij 3.1! Het feit dat gepoolde effectmaat niet significant is betekent nog niet dat je hand hygiene achterwege moet laten voor voorkomen van ziekte. Dat is wel dezelfde denkfout die clinici maken bij data-interpretatie vd maskers.

Some clinicians be like 'er is geen significant verschil gevonden bij n95 maskers dus gaan we ze niet dragen'. Charifa: Ook geen sig effect van hand hygiene op virale ziekte? Moeten we dan maar ook stoppen met hand hygiene? De some clinicians be like: artsenauto.nl/de-schijnwerel…

. @ArmandGirbes maakt de denkfout om de data aggregatie van Cochrane te interpreteren als beslissend terwijl de studies heterogeen zijn, van alles onterecht wordt gepoold, hoog risk of bias bestaat en geen correctie voor infectie als CAD ipv HAD.

Come on @cochranecollab stop mixing apples and oranges because you think they are comparable. This is really bad way of pooling data. #Grade score here would be 'very low' due to inconsistency of data and high RoB and high heterogeneity.

Cochrane doet een 'sensitiviteit' analyse door wat studies te verwijderen. Het is beter om eerst te corrigeren op moderators, omrekenen naar effect size zoals Cohens D om dan te toetsen wat je data betekent. Niet dit, dit is pick & choose.

Dan mijn statistische verdriet: geen publicatie bias analyse, geen Eggers test, geen trim-and-fill analysis, geen funnel plot, geen interpretatie van de verschillende I2 en Tau2 cijfers. NIKS!
Er wordt van alles op een hoop gegooid en cijfers geproduceerd die weinig betekenen

Veel gaat fout vanaf data aggregatie of meta-analyse tot data interpretatie, zonder toelichting, wat vervolgens klakkeloos wordt overgenomen in de richtlijnen en we hierdoor beleid voeren op zwakke en slecht geïnterpreteerd evidence.
THE END, ik ga niet door met mediocre papers.

@threadreaderapp please unroll

Sorry ik bedoel logOR geen cohens d.

En dan dit…@Hannekefelten meta-analyse is in theorie superieur maar veel die worden uitgevoerd zijn van laag niveau, met laag kwaliteit studies. Daardoor zijn veel meta analyses niet betrouwbaar omdat men vaak onterecht poolt en uit de zwakke effectmaten veel belang hechten

https://twitter.com/DrZemouri/status/1625398302521925634