1/ Oké, draadjestijd! In het nieuws zie je vandaag koppen als 'Kwart docenten uitgescholden, geïntimideerd of geduwd door leerlingen' en ’Docenten voelen zich steeds minder veilig op school’. Tijd om te #ontcijferen
telegraaf.nl/nieuws/2850718…
telegraaf.nl/nieuws/2850718…
2/ Het onderzoek komt van DUO onderwijsonderzoek. Ze hebben (1) een docentenpanel en (2) een mailbestand van docenten. Die hebben ze allebei gecontact voor deze vragenlijst. content1b.omroep.nl/urishieldv2/l2…
3/ In het rapport staat niet hoe hoog de respons is. Maar telefonisch hoor ik net dat 11% heeft gereageerd. Dat introduceert een flinke ruis in de data. Wat als die 89% allemaal het ene hadden geantwoord? Of allemaal het andere?
4/ Zulke non-respons maakt niet zoveel uit als degenen die wél reageren hetzelfde zijn als degenen die niet reageren. En dat is maar de vraag. De docenten die zo'n lijst links laten liggen, waarom doen ze dat? Misschien maken ze zich niet zo druk om het onderwerp óf juist wel.
5/ Het is dus niet gezegd dat we weten welke kant de vertekening op gaat. Maar er kan wel degelijk vertekening bestaan. Daarom moet je voor zulke non-respons corrigeren en de cijfers met een flinke korrel zout nemen.
6/ Maar ook een niveau hoger kan vertekening ontstaan. Want wie zitten er in het panel? Wie staan er op de mailinglijst? Idealiter is dat een willekeurige groep docenten, dat is de heilige graal in steekproefonderzoek.
7/ Maar het panel bestaat uit mensen die in het verleden hebben meegedaan aan onderzoeken (van de mailinglijst weet ik niet hoe die is samengesteld). Die zijn misschien wel anders dan mensen die nog nooit hebben meegedaan. Ze maken zich bijv zorgen over de staat vh onderwijs.
8/ Ook hier geldt: de vertekening kan allebei de kanten opgaan. Misschien zijn mensen die meedoen juist hartstikke tevreden, maken ze zich minder zorgen. Dat weten we simpelweg niet, we doen niet voor niets peilingen om erachter te komen wat docenten denken.
9/ Kortom: neem cijfers uit zulk onderzoek met een korrel zout. Er zijn allerlei redenen dat er flinke ruis kan zitten in de cijfers.
10/ Even alle zorgen over representativiteit terzijde. Vooral het slechte nieuws krijgt nu aandacht. Ja, 23% van de docenten zegt zich *minder* veilig te voelen (links) maar zie ook dat 84 procent zegt zich veilig te voelen, en nog eens 8 procent is neutraal (rechts). 
11/ Begrijp me niet verkeerd: ik denk dat het belangrijk is om over dit soort onderwerpen te praten en er onderzoek naar te doen. Maar laten we niet doen alsof we nu dé waarheid weten op basis van deze peiling, daar is toch echt meer voor nodig.
12/ Nog een laatste opmerking: goede data verzamelen is heel erg lastig en hard werken. Ik heb zelf in het verleden peilingen gedaan en genadeloos gefaald. Wat mails rondsturen of - sorry @NOSStories - een peiling op Instagram zetten, levert geen representatieve data op.
13/ P.s. @jelkeb maakte al eens een fijne checklist waarmee je een peiling kunt beoordelen. Zie hier: peilingpraktijken.nl/wp-content/upl…
