Thread by @benwilbrink

Toetsen & onderwijs. Een Gordiaanse kluwen van belanghebbende partijen heeft zich sinds de 60er jaren op die toetsen gestort. Onderwijs bezwijkt onder de last, de leerlingen voorop. Stoppen ermee. Dat toetsen heeft geen baten meer, alleen maar torenhoge kosten. Wat denkt u?

Als ik duizend woorden krijg voor een helikoptervisie op beoordelen/toetsen/testen en onderwijs, wat is dan belangrijk genoeg om er zeker in op te nemen?
Ik ga wat proberen, anders komt het er niet van. Toch? Discussie is welkom. Leraren zijn mijn doelgroep.

Bovenaan mijn lijstje staat dan de vraag 'Op welke manier zijn er grenzen gesteld aan het handelen van leraren?' En dan bedoel ik niet de voorschriften van het CvTE bij de centrale eindexamens. Wat hier voor leraren geldt, geldt uiteraard ook voor de Cito's van het land.

Ik denk dan aan een drieslag, hoewel deze drie niet strict van elkaar zijn te scheiden. 1) integriteit, in de zin van passend/functioneel binnen het onderwijs. 2) het recht, in het bijzonder betreft dat algemene beginselen als 'fair play', motivering, evenredigheid. 3) ethiek.

Niet strict van elkaar te scheiden: het recht vraagt dat toetsing integer is; ethiek vraagt dat toetsing integer is en dat het recht is gerespecteerd.
In deze context betekent 'integer' NIET dat toetsen allereerst aan psychometrische eisen (betrouwbaarheid, validiteit) voldoen,

betekent 'het recht' NIET wat onder onderwijsrecht wordt verstaan (zoals bij Noorlander 'Recht doen aan leerlingen en ouders' te vinden), en is 'ethiek' misschien een vooral onontgonnen gebied waar bijvoorbeeld @IngridRobeyns onze gids zou kunnen zijn.

Uit deze drie leidende beginselen, laat ik ze zo maar noemen, volgt vrijwel al het andere. Althans, dat is mijn stelling.
Allereerst volgt eruit dat het bij al dat beoordelen of toetsen in de eerste plaats gaat om de INDIVIDUELE leerling die recht heeft op goed onderwijs.

En dat is een geweldig inzicht, omdat vrijwel alles wat er over toetsen en beoordelen in het onderwijs is geschreven en geregeld gaat over GROEPEN leerlingen die toetsen maken en waarover overgangsbeslissingen worden genomen, statistieken berekend, en ga zo maar door.

Eind jaren '60 gebeurt er iets bijzonders. Adriaan de Groot en Bob van Naerssen pakken ideologisch gedreven uit met een boek (1969) over studietoetsen (= vierkeuzetoetsen). Na de onderdompeling in deze technocratische vorm van toetsen, komt bij beiden een moment van bezinning.

De Groot schrijft in 1970 een artikel waarin hij pleit voor een overkoepelend kwaliteitscriterium voor toetsen: die moeten voor de leerling doeltreffend zijn voor te bereiden. Strategisch dus ook. Van Naerssen geeft daar in zijn inaugurele rede in 1970 een wiskundig model voor.

Beide publicaties maken in feite korte metten met heel het technocratisch apparaat (de psychometrie) dat in één koop vanuit de Verenigde Staten naar ons polderland was gehaald. Beiden nemen de INDIVIDUELE leerling als uitgangspunt bij het ontwerpen van toetsen. Revolutionair.

In feite te revolutionair voor dit land van dominees en kooplieden, want er is nauwelijks aandacht aan besteed. Voor Bob van Naerssen was een teleurstelling dat zijn tentamenmodel plat was gevallen, en niet tot verder onderzoek en ontwikkeling leidde.

Ik was zelf eigenlijk de enige die er wèl mee aan de slag ging (zie mijn website, bijvoorbeeld het SPA-model; op mijn website ook de 1970-publicaties va zowel De Groot als Van Naerssen), maar ook mijn werk kreeg geen belangstelling. 'It's all in the game', in goed Nederlands.

Integer toetsen is een kwestie van kritisch gezond verstand, en afdwingbaar langs de weg van de kwaliteitseis 'evidence informed' te werken. Dat beoordelen binnen de grenzen van het recht blijft is in het hoger onderwijs afdwingbaar via beroepsprocedures (CoBEx). Het hoger

onderwijs loopt hier sterk voor op het vo en po. Zie Job Cohen 1981 'Studierechten' benwilbrink.nl/projecten/toet…; Henk van Berkel Henk van Berkel (2017). Juridisch correct examineren. Implicaties van uitspraken door beroepsorganen in het hoger onderwijs. nvexamens.nl/wp-content/upl…

Wie leerlingen beoordeelt, krijgt ook te maken met ethische dilemma's. Al is het maar het dilemma dat die algemene beginselen van behoorlijk bestuur/onderwijs best wel lastig kunnen zijn in de praktijk van het onderwijs: lap je ze dan aan je laars, of investeer je er juist in?

'Vijven en zessen' van A.D. de Groot sloeg in 1966 in als een bom, maar heeft niet echt geleid tot verbeterde toetsen. Wat weten we nu eigenlijk over dat cijfergeven? Het cijfergeven is vooral een 19e-eeuwse poging om het gangbare rangordenen van leerlingen te 'objectiveren'.

Cijfergeven is nog steeds rangordenen, het is relatief, er zijn geen absolute normen. Leraren hebben buitengewoon sterke tradities/gewoonten bij dat cijfergeven, door Posthumus in De Gids 1940 beschreven dbnl.org/tekst/_gid0011… Zittenblijven/afstromen altijd ca 23%. Dat is gek!

Omdat cijfers relatief zijn, is er strijd met het beginsel van A.D. de Groot dat toetsen doeltreffend moeten zijn voor te bereiden. Immers, het is praktisch onmogelijk voor leerlingen om zich collectief doeltreffend voor te bereiden op iedereen een '8'. Laat het even inzinken.

Posthumus heeft laten zien dat leraren kennelijk niet anders kunnen dan telkens een vast percentage onvoldoende te geven, te laten zitten, niet toe te laten.
Maar dat moet betekenen dat leerlingen als collectief evenmin bij machte zijn om dat traditionele patroon te doorbreken.

Wat is er aan de hand met deze toetserij? Want laten we wel wezen, dit fenomeen is compleet in strijd met hoe langs rationele weg selectieprocedures worden ontworpen. Hier is iedere ratio ver te zoeken, behalve de ratio 'we gaan het niet anders doen dan onze voorouders deden'.

Maar is het louter traditie? Of zijn er ook 'systemische' krachten aan het werk die we door die traditie heen niet goed in de peiling hebben? 'Vijven en zessen' gaf al iets aan van onderlinge concurrentie van leraren. Zouden leraren misschien ook met leerlingen in concurrentie

zijn? Wat denkt u? Socioloog James Coleman hup.harvard.edu/catalog.php?is… presenteerde een model voor zeg maar een 'stilzwijgende onderhandeling' tussen leraren en leerlingen. De leraren zetten hun cijfers in, in ruil voor tijdbesteding van hun leerlingen.

Tegelijk zetten leerlingen hun tijdbesteding in om goede cijfers van hun leraren te krijgen. Een dynamisch systeem, waarin leraren en leerlingen elkaar in een houdgreep hebben, en geen van beide partijen in staat lijkt de beoordelingstradities te veranderen. Zou dat kunnen?

Ja, dat kan, ik heb het aannemelijk kunnen maken met een dataset voor de propedeuse rechten (UvA, 1992) benwilbrink.nl/publicaties/92…
Maar dit is in het onderwijs geen gezonde situatie hè! Dat cijfergeven moet echt worden aangepakt. En dat kan in beginsel best makkelijk, want het

is in feite niet nodig om goed onderwijs te geven, en daar integere vormen van toetsing bij te gebruiken. Tot aan de uitvinding van cijfers als pseudo-gestandaardiseerde vorm van rangordenen in de 19e eeuw deden we het immers zonder. Maar wel met altijd maar weer rangordenen.

Dat rangordenen is voor goed onderwijs niet nodig. Het was een manier om leerlingen te motiveren, maar heeft altijd het bezwaar gehad dat het alleen de beste leerlingen motiveert. Zowel rangordenen als cijfergeven scheppen een eigen, onveilige, schoolwereld—los van inhouden.

Oké, ik pad de draad weer op. Het voorgaande is bijeengeharkt in: threadreaderapp.com/thread/1633742…
Wat volgt: vakmatig beoordelen (iets anders dan cijfergeven hè!), en weer concreter/praktischer dus. En een persoonlijke noot: de kiem voor dit alles was al eind 70er jaren gelegd.

Het probleem is nu dat 'vakmatig beoordelen' sterk is besmet door de eeuwenlange traditie van rangordenen. Het is dus niet zo, helaas, dat weghalen van het cijfergeven (stop ermee, zegt Dylan Wiliam) voldoende is om een zuiver vakmatige beoordeling over te houden.

Er is een ijzersterke koppeling tussen het 'vijven en zessen' van het cijfergeven, en de moeilijkheid van vragen in toetsen en examens. Moeilijkheid die in de buurt van 60% wordt gehouden door ontwikkelaars, of dat nu leraren zelf zijn, of leraren in dienst van bijvoorbeeld Cito.

Een opgave wiskunde die 40% van de leerlingen niet goed beantwoorden mag wiskundig gezien helemaal oké zijn, maar in het onderwijs is het van de gekke om in toetsen vragen op te nemen die gemiddeld zo moeilijk zijn. Want dat staat haaks op wat er voor onderwijs nodig is.

Zulke moeilijke toetsen belemmeren leerlingen bij het zich doeltreffend voorbereiden (De Groot, 1970); zijn voor de meeste leerlingen demotiverend, zo niet erger; zijn op zich geen goed leermoment; en zijn ook niet optimaal wat het consolideren van kennis betreft.

Ik heb destijds in mijn 'Toetsvragen schrijven' (Aula 809, 1983) deze thematiek van gemiddeld te moeilijke vragen over het hoofd gezien. Gemiste kans. Destijds heb ik wel gebruik van de taxonomie van Bloom c.s. ontraden, zoals ook van meerkeuzevragen in het onderwijs.

Wat heb ik over het hoofd gezien? Ik heb nog te weinig aandacht gegeven aan 'backwash' effecten. Een paar opmerkingen daarover, ter afsluiting. Dat toetsen en examens enorme invloed hebben op het eraan voorafgaande, dat weet iedereen wel. Toch wordt er zelden naar gehandeld.

Voor Bob van Naerssen stond het vast dat toetsen een sterke hefboom zijn die we op het onderwijs zetten. Ten goede, of ten kwade. Het voorbeeld-bij-uitstek van het kwade is de 'citotoets' die in een halve eeuw tijd het basisonderwijs sterk heeft misvormd.

Het is een waarheid als een koe (waar we onze ogen liever voor sluiten) dat alle prestatie-indicatoren, ook toetsen en examens, hun betekenis als indicatoren verliezen zodra er sancties aan worden gekoppeld. Dan gaat iedereen zich strategisch gedragen, hoe schadelijk ook.

We doen het onszelf aan, door toetsen en examens te behandelen als losstaand van het onderwijs, in plaats van als integraal onderdeel van onderwijs, instructie, en leren.
Weten we nu in welke richting we het moeten zoeken, met ons toetsen en examineren? Ja toch?