Thread by @rubenivangaalen

1/Waarom resultaten van studies waarbij deelnemers 𝙯𝙞𝙘𝙝𝙯𝙚𝙡𝙛 𝙖𝙖𝙣𝙢𝙚𝙡𝙙𝙚𝙣 niet klakkeloos moeten worden aangenomen.

🔹 Deelnemers worden vaak onder bepaald kijkers-, lezerspubliek geworven. Ze hebben veelal specifieke kenmerken, opvattingen, preferenties.

🔹Ze melden zichzélf aan. Ze worden niet random geselecteerd uit de populatie waar men 𝙪𝙞𝙩𝙨𝙥𝙧𝙖𝙠𝙚𝙣 𝙤𝙫𝙚𝙧 𝙬𝙞𝙡 𝙙𝙤𝙚𝙣. Niet iedereen heeft evenveel kans haar of zijn zegje te doen.

🔹Dit heeft grote gevolgen voor de waarde vd uitspraken die zullen worden gedaan.

2/
🔹Vaak worden ze ook nog voor een bepaald thema opgeroepen: mensen met een uitgesproken interesse hierin doen vaker mee.

🔹Ze vormen daardoor veelal niet of zelfs totaal niet een afspiegeling van de populatie *waar meestal vervolgens 𝙬𝙚́𝙡 uitspraken over worden gedaan*.

3/
🔹Steekproefvertekening is een afwijking waarbij een steekproef zodanig wordt verzameld dat leden van de beoogde populatie (bijv. alle mensen in Nederland) 𝙜𝙚𝙚𝙣 𝙜𝙚𝙡𝙞𝙟𝙠𝙚 kans hebben met het onderzoek mee te kunnen doen.

4/
🔹Er zijn manieren om enigszins te corrigeren voor deze vertekening, als er veel bekend is over de populaties respondenten én niet-respondenten. Er kan geavanceerd gewogen worden naar de doelpopulatie *waar uitspraken over worden gedaan*.
cbs.nl/nl-nl/onze-die…

5/
🔹Echter, veel vlugge polls die soms zelfs krantenkoppen halen worden matig gewogen. Er wordt meestal geen methodologische verantwoording gepubliceerd om te kunnen begrijpen wat er wel is gedaan. Dit laatste verhindert transparantie, doet af aan geloof in kwaliteit vd meting.

Er is vaak helemaal niet veel bekend over de (beoogde) respondenten. Veel te weinig om de selectiviteit in kaart te brengen, laat staan te corrigeren.

6/
🔹Natuurlijk zijn er voldoende studies die wél op een zuivere steekproef gebaseerd zijn. Uiteraard alle @statistiekcbs studies waar mensen worden ondervraagd, maar ook vele wetenschappelijke studies, waar een kwalitatief hoogwaardig steekproefkader wordt samengesteld.

7/
🔹En er zijn mogelijkheden een zelfaanmeldpanel bruikbaar te maken om zinvolle uitspraken te kunnen doen. Dat vergt voldoende en valide kennis over de pool aan potentiële respondenten én over de populatie (de NL bevolking bijv) waar men uitspraken over wil doen.

Die pool moet van voldoende omvang zijn en er moet een zuivere steekproef uit worden getrokken. Daarna moet worden gewogen, omdat niet iedereen mee zal doen. Extra uitdaging is het omgaan met selectieve non respons, algemeen maar zeker bij een bepaald gevoelig onderwerp.

Vaak zal men een minimale omvang wensen, het onderzoek open laten staan tot deze omvang bereikt is. Later moet je dan corrigeren voor mogelijk selectieve deelname. Alles staat of valt met de kwaliteit van de pool waar je uit trok en naar weegt. En de grip op selectieve deelname.

8/
Als laatste zullen uitspraken gedaan worden over bijv stem-intenties (op welke partij zou u stemmen?) naar kenmerken van mensen. Selectieve deelnamekansen maar ook het feit dat bijv maar 1000 mensen meededen, veroorzaken natuurlijk meet-onnauwkeurigheden, statistische ruis.

Er moeten foutmarges berekend worden rond puntschattingen, om de relevantie, of de relativiteit van de metingen, te kunnen bepalen. Alleen zo kunnen we de resultaten van het onderzoek op waarde schatten. De @peilingwijzer bijv. publiceert regelmatig inclusief marges.

❗Zeker kleine veranderingen in de tijd dienen getoetst te worden op statistische significantie, zeker als de studie leunt op kleine steekproeven. CBS rapporteert verschillen alleen als relevante verschillen als deze die toets kunnen doorstaan.

9/
Kortom, zelfaanmeldpanels vergen veel werk om de juiste mensen binnen boord te krijgen en houden. Maar iedereen waar uitspraken over gedaan moeten worden, moet mee kunnen doen. Het vergt valide kennis over de panelleden en over de mate van selectiviteit van de respondenten.

10/
Als laatste, cruciaal, vraagstellingen mogen niet suggestief of sturend zijn. Antwoordcategorieën kunnen resultaten zeer beïnvloeden. Het formuleren ve goede vraag is erg moeilijke materie. CBS test nieuwe, lastige vragen altijd grondig. Meet je wel wat je wilt meten?

11/
Goed meten is een vak, waarbij onzekerheden door selectieve respons en vraagstellingen altijd meegenomen dienen te worden bij rapportage naar het publiek.

Zeer stellige uitspraken, zeker zónder methodologische verantwoording: daar moet u áltijd kritische vragen bij stellen.