Thread by @benwilbrink

Vandaag blijkt mijn hoofd te staan naar toetsvragen als onderwerp, mijn zonden, en vooral die van anderen. Het ontwerpen van toetsvragen, bij de buren heet dat 'item writing', door mij wel vertaald met 'toetsvragen schrijven': Aula 809 benwilbrink.nl/publicaties/83…

Mijn zonde bij het uitbrengen van dit boekje was dat ik deze aanpak van het ontwerpen van toetsvragen niet empirisch had getoetst op een paar honderd of liefst nog meer universitaire docenten. Uiteindelijk stapte de redactie van deze HO-reeks over dat bezwaar heen. Gelukkig.

Mijn verdediging was uiteraard dat ik mij met deze praktische aanpak van het ontwerpen van toetsvragen keerde tegen tradities die evenmin op behoorlijke empirische toetsing berustten. Integendeel. Toetsvragen ontwerpen werd alom als een KUNST beschouwd. No kidding. Nog steeds.

Dienstmededeling. Het boek is van 1983, en door opheffing van het COWO stopte iedere vorm van doorontwikkeling abrupt. In de jaren '00 wel weer opgepakt: benwilbrink.nl/projecten/toet… met boeiende nieuwe ideeën, maar een afgeronde tweede editie ligt boven mijn macht. Het is te groot.

Maar de toetsvragen-kunstenaar krijgt toch hulp van Benjamin Bloom c.s., de 'cognitieve taxonomie' voor toetsvragen?
Het probleem daarmee is dat validiteit van het gebruik van de taxonomie twijfelachtig is. Het inzicht van vandaag is immers de kennis van morgen!

En het is pseudo-psychologie hè! Leraren kunnen niet in de hoofden van hun leerlingen kijken of wat zich daar bevindt of afspeelt gewoon kennis is, of inzicht, of het vermogen om de kennis ook toe te passen (handboek piloot kennen ≠ vliegtuig besturen).

Die taxonomie heeft het onderwijs schade berokkend (een nieuwe editie heeft het belang van kennis als de basis van alles benadrukt, een belangrijke correctie depauw.edu/files/resource…). Het blijft pseudo-psychologie, die tot allerlei verschrikkelijke piramides verleidt.

Heel dat gedoe met wat er in het hoofd zou gebeuren, is gekoppeld aan het idee dat onderwijs doelstellingen nodig heeft. Wat leidt tot ergerlijke toetsmatrijzen van inhouden versus categorieën van de taxonomie.
Vandaar dat mijn boek begon met doelstellingen overboord te zetten.

Herken in die toetsmatrijzendogmatiek de bureaucratische terreur die het in feite is. Het is allemaal goed bedoeld - pun intended - maar het werkt vreselijk uit. Dit soort onderwijs-'vernieuwing' vloeit uit de pennen van onderzoekers met een generieke blik op het onderwijs:

'hé, wacht even, al dat toetsen is eigenlijk psychologie, waarom gebruiken we onze testpsychologie (intelligentie-testerij, goudmijn voor psychologen begin 20e eeuw) niet om het onderiwijs te vernieuwen?' Heel handig, want de onderzoeker kent de inhoud van schoolse vakken niet.

En als hij/zij die wel goed kent, ontbreekt het te vaak aan methodologisch inzicht in onderzoek. Afijn, Lee Shulman schreef er een klassiek betoog over fisica.uniud.it/URDF/masterDid…

Anders gezegd: zadel leerkracht niet op met het idee dat het noodzakelijk zou zijn kennis te hebben van wat zich in het hoofd van leerlingen afspeelt.
De taxonomie van Bloom c.s. was ooit een breuk met het behaviorisme. Misschien nodig op dat moment: 1956. Het is nu 2022 hè!

De ervaren leraar staat boven de behandelde stof en is goed in staat toetsvragen te ontwerpen. Vooral zonder Bloom, piramides, of andere flauwekul.
Natuurlijk, er zijn tal van randvoorwaarden voor de kwaliteit, maar dat is toch een onderwerp apart, zie: benwilbrink.nl/projecten/toet…

Een minder zichtbaar probleem met schema's zoals van Bloom c.s. is dat ze vooral NA het gegeven onderwijs uit de kast worden getrokken om te helpen bij het ontwerpen van toetsvragen. Dat is een probleem, omdat de toets daarmee niet meer in lijn is met het gegeven onderwijs.

Een voorbeeld. Het opgegeven handboek behandelt verschillende vormen van afasie in verhalende stijl, met definities ook.
Bij het ontwerpen van tentamenvragen wil de adviseur casus van afasie presenteren, met de opgave deze te benoemen. Goed idee, vinden de docenten. Maar ... .

Op dat moment ontdekken zij het dat het net van de persen gerolde Handboek niet voorbereidt op de opgaven die de docenten eigenlijk willen gebruiken in het tentamen over dat Handboek. Niet handig.
Docenten kunnen dus wel hulp gebruiken bij het afstemmen van onderwijs en toets.

Het idee is nu dat er een beschrijving van de leerstof nodig is: wat zijn de belangrijke begrippen, hun onderlinge relaties, hoe moeten leerlingen de kennis ervan beschikbaar hebben — bij het lezen van nieuwe teksten bijvoorbeeld (analyse, referentie). Epistemologie, kennisleer.

Iedereen kent het wel in de vorm van 'concept maps', of begripsmatige schema's zoals dat in de 70er en 80er jaren werd genoemd (Breuker, Mirande, Elshout-Mohr, publicaties over schematiseren als studiehulp). Een voorbeeld uit 'Toetsvragen ontwerpen':

Onderscheiden naar aard van de kennis gaat het bij vrijwel alle leerstof altijd wel over (1) begrippen, (2) relaties tussen begrippen [bijv. natuurwetten], (3) probleemoplossen [wendbaarheid in de methodologie van het vak], en (4) tekstbegrip ['problem solving on the fly']

De volgorde is een voorwaardelijke, er zit een opbouw van beheersing in. Ieder in een eigen hoofdstuk behandeld.
(1) en (2) zullen niet verrassen. De kort karakteristiek die ik hier geef voor (3) probleemoplossen is een nieuw inzicht van vanavond dat nog om uitwerking vraagt.

De behandeling in het boek berust op de cognitieve psychologie van vooral Allen Newell ['producties'], en blijft als zodanig nogal abstract. Ieder vak heeft zo zijn eigen methodologie, die laat zich goed combineren met het abstracte frame van Newell. Vermoed ik. Patenteren, Ben!

Het proto-type van probleemoplossen is zoals dat in de wiskunde gebeurt. De proto-typische publicatie is Polya's 1957: 'How to solve it'. Onderwijsvernieuwers dwepen er graag mee, het is ook voor de #rekentoets [eindexamens vo] gebruikt. Misbruikt, want zo simpel is het niet.

Het toeval wil dat de genoemde Allen Newell student was van Polya, en er door zijn onderzoek naar probleemoplossen, samen met Herbert Simon, buitengewoon op was gespitst om ook het probleemoplossen van Polya theoretisch te kunnen duiden. Wat hem niet lukte. Maar dit terzijde.

Aula 809 1983 behandelt probleemoplossen in hoofdstuk 7, NA het hoofdstuk 6. over het ontwerpen van vragen bij teksten, kunstmatig opgedeeld in analytische vragen [relaties BINNEN de tekst] en refrentiële vragen [relaties met kennis BUITEN de tekst]. Duh, je bedoelt tekstbegrip!

Of het om tekstbegrip gaat, laat ik maar even terzijde. Het springende punt is dat analyse en referentie natuurlijk niet anders zijn dan een vorm van probleemoplossen. De volgorde moet dus zijn: eerst probleemoplossen behandelen, pas daarna wat het is om tekst te begrijpen.

Teksten zijn er allereerst om redelijk vlot gelezen te kunnen worden. Het analyseren van het geschrevene, en dat verbinden met met het al bekende [inferentie], moet vrijwel autonoom kunnen verlopen, zonder 'nadenken'. Vandaar dat ik 'problem solving on the fly' heb genoemd.

Vrijwel autonoom: dat is een eis die gesteld mag worden aan de expert. Zoals de advocaat die een rechterlijke uitspraak leest. In het onderwijs zijn de studenten net op weg om expert te worden: analyse en referentie zullen mogelijk expliciet geoefend moeten worden.

Oké, daar laat ik het bij wat 'epistemologisch' uiteenleggen van de leerstof betreft.
Het boeiende van het opzetten van twitterdraadjes zoals deze is dat het best wel vaak tot nieuwe inzichten leidt, zoals in het bovenstaande is gebleken.
Ik ga hierna verder over keuzevragen.

Laat ik daar dan vast op vooruit lopen door deze korte hadleiding aan te bieden, uit een project voor Algemene Taalwetenschap (UvA), destijds een tentamen voor meer dan 1000 studenten. benwilbrink.nl/publicaties/92……
Wordt vervolgd

Maar eerst wil ik voorkomen dat er misverstanden groeien over wat tekstbegrip in deze context is. Het is geen freischwebende Intelligenz maar strikt 100% en volledig KENNIS-GEBONDEN. Allereerst domein-specifieke kennis dus.

Het is mij een raadsel wat het vak Nederlands met tekstbegrip heeft te maken. Daniel Willingham legt het opmeerdere plaatsen ook glashelder uit. Is het nodig een verwijzing te geven? U kent de literatuur toch wel een beetje?
Het onderwerp nodigt uit tot nieuwe draadjes.

Om het voor nu even af te ronden: tekstbegrip gaat over de relaties die de lezer spontaan of anderszins kan leggen op basis van kennis van het onderwerp. Wat in de cognitieve psychologie van Allen Newell 'producties' heten. (bij E. Thorndike S-R banden) mitpress.mit.edu/9780262111140/

Dan heb je een doorwrocht boek geschreven over het ontwerpen van toetsvragen, en word je als raadgever teruggeworpen op de very basics. De meerkeuze-toetsen die leraren/docenten zelf ontwerpen hebben vaak enorme gebreken, die tegelijk eenvoudig zijn te verhelpen.

Daar ben je dan wel druk mee. Een korte cursus voor een heel team ziet er dan zo uit: iedereen levert een aantal zelf ontworpen vragen in, die door de anderen kritisch worden besproken. Onder het motto: breek ze tot de grond toe af, bouw ze opnieuw op.

En ik maar proberen dat in goede banen te leiden.
Basale ontwerpfouten: vier alternatieven aanbieden (drie is altijd beter); veel te lange teksten in de alternatieven; kokervisie op wat het juiste alternatief zou zijn (andere zijn vaak ook verdedigbaar); dubbelzinnigheid.

Een voorbeeld kan helpen. Ik ben een decennium druk geweest om te helpen verhinderen dat de #rekentoets onderdeel van de eindexamens vo zou worden / blijven. Het was een sport om de gebreken in vrijwel alle context-opgaven aan te geven. Zodra er items vrij werden geven, want

het was allemaal heel geheimzinnig rondom die toetsen. Surveillerende docenten mochten niet meekijken wat de vragen waren, laat staan daar foto's van maken. WOB-verzoeken werden vanwege staatsbelang afgewezen. Compleet oorlog dus. Afijn, zie benwilbrink.nl/projecten/cito… Komisch.

Die webpagina is een demonstratie van hoe dat gaat: ontworpen keuzevragen tot de grond toe afbreken. Ik was in de gelegenheid mijn vroegere collega's van het Kohnstamm Instituut ervan te overtuigen dat deze toetsen ernstig problematisch waren. Maar ik slaagde daar niet in.

De stemming was vergoelijkend voor de ontwerpers van die rampzalige vragen. Mijn collega's dachten mee met die ontwerpers. Zo erg is het allemaal toch niet? Perfecte toetsen bestaan niet.

Het springende punt is nu juist:
De ontwerper moet kunnen denken vanuit de positie van de leerling / student die de toets moet maken, en zich erop moet voorbereiden, niet te vergeten.>> De ontwerper die zich dat voortdurend realiseert, is in een veel betere 'ontwerppositie'.

Ik geef een paar voorbeelden. De naïeve ontwerper vindt lange teksten in de alternatieven geen probleem, want de leerling die de stof beheerst gaat meteen voor het juiste alternatief, hoeft de andere niet eens te lezen. Toch?
Nee dus. Zo werkt het niet. Keuzevragen dwingen

ook de andere alternatieven (noem ze nooit AFLEIDERS!) te bestuderen, en dan pas het meest juiste (brrr) te kiezen. Ziet u nu waarom het misdadig is om alternatieven met ingewikkelde constructies te gebruiken? Of alternatieven die puur onzin zijn, of omkeringen van wat juist is?

Leerlingen mogen bij een toets uiteraard never ever worden AFGELEID. Laat staan bij een examen. Proberen om leerlingen in de war te brengen, bij toetsen waar veel van afhangt, is niet alleen onprofessioneel, het gaat over grenzen van rechtmatigheid heen.

Een deel van het fiasco van de #rekentoets is ongetwijfeld te wijten aan het onvermogen van de ontwerpers van de toetsen en de opgaven om te denken vanuit de positie van de leerlingen. De toetsen en cijfergeving moesten keer op keer worden herzien, tot de wal het schip keerde. vv

Leerlingen bij het maken van toetsen 'afleiden', op welke manier dan ook, is een ernstige inbreuk op de toetsorde. Een College van Beroeps voor Examens zal klachten erover altijd serieus nemen.
Toetsvragen ontwerpen die inherent 'afleiden' — meerkeuzevragen — is onethisch.

Zoals strikvragen dat vanzelfsprekend ook zijn. (Toch bezondigen ontwerpers zich er vaak aan, bijvoorbeeld door een item moeilijker te maken door te vragen om het omgekeerde of complement van de uitkomst van de berekening: dat is uitlokking om die laatste stap te vergeten)

De wortels van het toetsen met keuzevragen liggen ongetwijfeld in begin 20e eeuw in de VS, in de enorme onderwijsmarkt die daar openlag voor ontwikkelaars van intelligentietests en vorderingentoetsen.
Bedenk dat, en houd uzelf voor dat keuzetoetsen niet thuis horen in onderwijs.

Is er enig redelijk argument of excuus om leerlingen lastig te vallen met proefwerken en examens met meerkeuzevragen?
U denkt misschien 'Ja, ons propedeuse-tentamen wordt door 1000 studenten gemaakt, hoe moeten we dat anders nakijken?'

Tegenvraag: wat heeft een tentamen voor 1000 jongelui nog met ONDERWIJS te maken?
Zo'n tentamen is toch vooral onderdeel van een afrekencultuur, een bureaucratisch monster?
Breek het tot de grond toe af, en bouw het weer op.
Wat nu als het slechts marginaal wordt nagekeken?

In beginsel krijgt iedereen daar een 'pass' voor. Tenzij uit de marginale toetsing blijkt dat een student het onvoldoende heeft voorbereid. Het tentamen is een laatste leer-activiteit, zeg maar. Het sluit zo nauw mogelijk aan op de leerstof en wat daarvan beheerst moet zijn.

Ontwerp de toets op de leerling die de stof behoorlijk heeft bestudeerd en geoefend. Er is geen enkele noodzaak om briljante studenten te bedienen met extra moeilijke vragen zodat zij excellent kunnen scoren waar anderen maar zesjes halen. Stop met die gekte.

Voor de talen bestaan onze centrale eindexamens uit eindeloze reeksen stukjes tekst met daar tekstbegrip-vragen over. Waarom is dat? Is Nederland daar beter mee af dan met proefvertalingen?
Ho ho, denkt u. Proefvertalingen zijn vreselijk lastig na te kijken, leraren zijn

het zelden met elkaar eens over de waardering van die proefvertalingen. Daarom zijn we er toch mee gestopt? Meerkeuzetoetsen zijn objectief, en een geweldige vooruitgang op die subjectieve oordelen van schriftelijk werk. Toch? Of bespeur ik een spoortje van twijfel?

Ik heb ooit de bijna volledige staf van het Cito, onder aanvoering van de directeur destijds, Solberg, mogen uitleggen dat meerkeuzevragen net zo subjectief zijn als open vragen. Dat was me een spektakel op de ORD 1977, want de directeur was razend. benwilbrink.nl/publicaties/77…

De achtergrond is dat De Groot en Van Naerssen in de 60er jaren een sterke ideologie in Nederland hadden geplant dat de enige goede toetsen meerkeuzetoetsen zijn, want die zijn objectief. Het Cito vermarktte dat.
Wim Hofstee kalmeerde de zaak door na de woedende opmerkingen

van Solberg en Wesdorp droogjes op te merken dat wat Wilbrink hier beweerde, dat keuzevragen even subjectief als open vragen, toch een geweldige eye-opener is.
En inderdaad, in de VS spreekt men over keuzevragen over 'frozen subjectivity': de subjectiviteit van de ontwerper.

Afijn, ik kreeg jaren later te horen dat mijn rechtstreekse aanval op de dogmatiek van de objectieve keuzetoets het Cito wel heeft geholpen om de eindexamens vo vorm te geven, want het zou toch een ramp zijn geworden die allemaal als meerkeuzetoetsen te geven. vv

Waar ik het beslist ook over moet hebben, daarmee sluit ik de draad af: de schandvlek dat het onderwijs er maar niet in slaag paal en perk te stellen aan deze gekkigheid, dat leerlingen bij meerkeuzetoetsen de opdracht krijgen, als ze het antwoord niet weten, dat dan te RADEN.

Het is een probleem dat onzichtbaar blijft totdat iemand het onder woorden brengt. Het is van de zotte om hele generaties jongeren te leren dat het oké is er een slag naar te slaan, wanneer je iets niet weet. Waar is het onderwijs dan mee bezig? Jongeren handicaps meegeven?

Ooit was het nog zo dat je een keuzevraag open liet, als je het antwoord niet wist. De Army Alpha was een intelligentietest, in 1917 gebruikt om razendsnel een leger op de been te brengen om een eind aan de Wereldoorlog te maken. Jongeren waren gretig om in het leger te gaan,

en ontdekten al snel dat ze hun kansen verbeteren door op die test toch maar bij vragen die ze konden beantwoorden, een van de alternatieven aan te kruisen. En zo is het gekomen dat testpsychologen dan maar iedereen instrueerden om te raden, om ongelijkheid te voorkomen.

Diezelfde testpsychologen hebben de verwarring groter gemaakt, door de illusie te wekken dat voor het raden kan worden gecorrigeerd met een handige formule. Kijk er De Groot en Van Naerssen, 1969, 'Studietoetsen', maar op na.

Dat is natuurlijk onzin, niemand weet of en hoe Marie-José heeft geraden op haar rekentoets. Voor grote groepen is het raden wel statistisch te schatten, maar daar heeft Marie-José niets aan hè! En het gaat om Mari-José, niet om de groep.

Als er om goede redenen toch keuzetoetsen gegeven worden, pak het probleem dan direct aan, en geef een halve bonuspunt voor iedere keuzevraag die NIET is beantwoord. Maak er driekwart bonuspunt van bij tweekeuzevragen, anders blijft het voor leerlingen aan te raden te raden.

Ik stip hier nog een verwant probleem aan. Taal is dubbelzinnig. Het is voor leerlingen vaak ook gissen wat de ontwerper van de vraag precis heeft bedoeld, of hoe een alternatief precies opgevat moet worden. 'Beschrijft de aarde een cirkelvormige baan rond de zon?' Wat denkt u?

Voor de #rekentoets deed zich het probleem voor dat briljante wiskunde-leerlingen geen perfecte score op de rekentoets konden halen. Rekenen op niveau groep 8 hè! Het CvTE had zich kapot moeten schamen, en onmiddellijk ingrepen. Maar zo werkt de toets-bureaucratie niet.

Omdat er bij keuzevragen alleen maar kruisjes gezet kunnen worden, is er een probleem voor de leerling die de dubbelzinnigheid ziet. Hé, de baan van de aarde is toch ellipsvormig? Bedoelt de ontwerper van de vraag dat dan ook?
Mijn advies, bij 'high stakes' examens:

Geef bij twijfel een schriftelijke toelichting op het alternatief dat je hebt aangekruist. Lever dat papier in bij de surveillant, en laat die surveillant teken voor ontvangst ervan. Dan heb je achteraf een been om op te staan. Ga in beroep.

Want het staat vast dat er altijd meer manieren zijn om een keuzevraag goed te beantwoorden, dan de ontwerpers ervan hebben voorzien.
Ik kan eraan toevoegen dat dit probleem vaker juist díe leerlingen treft die meer dan alleen de opgegeven leerstof bestuderen.

END

Stel vragen bij wat duister lijkt. Geef een 'like' bij iets dat je bijzonder treft. Plunder mijn website voor meer informatie.

Gedeelten van 'Toetsvragen schrijven' zijn wel herzien, niet alleen wat het Nederlands betreft. Maak er gebruik van:
benwilbrink.nl/projecten/toet…

PS
De baan van de Aarde om de Zon is niet ellipsvormig, slechts bij benadering.
Pas bij het ontwerpen op met 'universal quantifiers' zoals 'nooit', 'alle'. Ook wiskundige functies zijn in deze zin universele quantoren.
Reden om contexten in wiskundeopgaven te VERBIEDEN.

unroll @threadreaderapp