Adriaan de Groot en Bob van Naerssen brachten in 1969: 'Studietoetsen construeren, afnemen, analyseren' uit. Het was zijn tijd vooruit, maar ook in de negatieve zin: dat de auteurs het beter nog eens een jaartje hadden kunnen laten bezinken. Het boek moet nog eens van een
kritische bespreking worden voorzien, ook al is er ondertussen meer dan een halve eeuw verstreken. Het boek is activistisch, ideologisch geladen, benadrukt voordelen van vierkeuzetoetsen (dogmatiek: het moet vier zijn) en verzwijgt tegelijkertijd nadelen daarvan.
Het boek heeft enorme invloed gehad op de wijze waarop er in ons onderwijs, van kleuterschool tot universiteit, wordt getoetst. Kwam ik nog mijn onderwijs door zonder ooit een keuzetoets te hoeven maken, tegenwoordig zijn leerlingen en studenten veel tijd kwijt aan die toetsen.
Omdat ik een beetje geobsedeerd ben geraakt door vragen hoe kleine krachten in het onderwijs enorme impact kunnen hebben omdat ze bijna 20 jaar worden uitgeoefend, zie ik dat het onderwijs waarschijnlijk enorme schade oploopt door het kwistige gebruik van keuzetoetsen.
Ik werd tot deze overpeinzing getriggerd door tentamens rechten in mijn archief: met 40 of 50 vierkeuzevragen, jawel, met veel tekst in de alternatieven. Daaronder ook vragen van het type I en II onjuist, I juist II onjuist, I onjuist II juist, I en II onjuist.
Als ik het mij goed herinner, werd dit type vraag als bruikbaar geadviseerd in De Groot en Van Naerssen (1969). Als u ooit dergelijke keuzevragen hebt moeten beantwoorden, dan weet u dat ze de hersenen in een stevige knoop kunnen leggen, dat moet je net niet hebben in een toets.
Ik heb altijd strijd gevoerd tegen het gebruik van keuzevragen in het onderwijs, wat me niet altijd, maar soms ook wel, in dank is afgenomen. Afijn, kijk zelf benwilbrink.nl/projecten/toet…
De Groot heeft later verteld dat in de beginjaren van het Cito er voor is gekozen om alleen VIER-keuzevragen te gebruiken en te promoten, om verwerking van resultaten overzichtelijk te houden. Toetsresultaten werden op ponskaart gezet, voor verwerking met IBM-apparatuur.
Wat De Groot en vele anderen zich niet realiseerden: voor de verwerking van de toetsen maakt het niet uit of er ook 2-keuze en 3-keuzevragen zijn gebruikt.
Zo ontstond de gekkigheid van die dubbele I/II juist/onjuist vragen, want ja, je moest VIER alternatieven hebben. Niet dus.
Pas jaren later begon het te dagen dat vierkeuzevragen lastig zijn te ontwerpen. Meestal is er wel een alternatief bij dat door vrijwel niemand wordt gekozen, dat 4e alternatief kun je beter maar weglaten. Zo ontstaat ruimte om extra vragen in de toets op te nemen.
Als De Groot en Van Naerssen het manuscript nog even hadden laten rijpen, dan hadden zij hun inzichten uit 1970 erin verwerkt, met waarschijnlijk een sterk andere uitkomst.
Adriaan (transparantie): benwilbrink.nl/publicaties/70…
Bob (tentamenmodel): benwilbrink.nl/publicaties/70…
Beide behoren tot het reservoir van 'vergeten' publicaties. Volkomen ten onrechte, het gaat mijns inziens om publicaties die een waterscheiding teweeg hadden kunnen brengen in Nederland toetsland: van benadrukken van verschillen (psychometrie) naar integer toetsen (didakometrie).
Maar hoe is het gegaan? Cito ging door op de psychometrische weg: verschillen tussen leerlingen benadrukken. Wel een sterke psychometrische afdeling, maar nul aandacht voor onderwijs zelf. Het Cito maakte zich, zeker na de verzelfstandiging, tot speelbal van onderwijsideologen.
Van Naerssen kreeg geen steun voor zijn tentamenmodel (besliskundige benadering met focus op de student als de beslisser, niet de docent) en verstrikte zich in technische problemen. Hetzelfde geldt trouwens voor mijn eigen werk in het verlengde van dat van Van Naerssen.
Ik kreeg in 1986 de gelegenheid om het verschil tussen testen (psychometrie) en toetsen (didakometrie) uit te werken: benwilbrink.nl/publicaties/86…
De Cotan nam deze benadering over in zijn Richtlijnen van 1988. De huidige Cotan staat er niet achter, de Standards zijn de norm. #pity
Het is vooral daarom jammer, omdat het onderwijs de ballast van eeuwen en eeuwen benadrukken van verschillen—rangordenen— met zich meetorst. Cijfergeven = rangordenen, wist u dat? Zie benwilbrink.nl/publicaties/97… Vrijwel alle onderwijsonderzoek vindt binnen dat paradigma plaats!
Mijn geschiedenis gaat tot 1900. Was tot 1900 het voor iedereen duidelijk dat rangorde ertoe deed, na 1900 werd dat versluierd door het pseudo-gestandaardiseerde cijfergeven, samen met IQ-testerij (psychometrie) en geloof in aangeboren verschillen. Doe er iets aan, jongelui.
Over de keuzevragen-ideologie in De Groot en Van Naerssen 1969 Studietoetsen: zie ook een lezing van De Groot in 1959, waarin hij zijn objectiviteits-ideologie presenteert—10 jaar was niet voldoende voor een redelijke correctie op die ideologie. objects.library.uu.nl/reader/index.p…
• • •
Missing some Tweet in this thread? You can try to
force a refresh
Contextrekenopgaven: algebraïseren.
Stelling: we zijn ons door versimpelde contexten in rekenmethoden en -examens niet meer goed bewust van hoe lastig algebraïseren van concrete situaties vaak is.
Hoe algebraïseert u bijvoorbeeld wat er gebeurt bij toetsen van beheersing?
Er moet toch een wiskundig model zijn op te stellen, want we hebben er wel voor gezorgd dat de toets kwantiteiten oplevert, zoals 'aantal goed'.
Als u er niet uit komt, waar zou u in de literatuur gaan zoeken naar mogelijke modellen?
Misschien moet ik toch twee aanwijzingen geven: 1) de beheersing van de stof moet in het model voorkomen, noem deze 'p'. 2) een toets is geen meting, maar een steekproef; of eigenlijk: evenveel steekproeven als er bijvoorbeeld vragen in de toets zijn, noem dit aantal 'n'.
Wroetend in mijn omgevallen boekenkast kom ik iets verrassends tegen. Het zal wel weer een publicatie van Patrick Suppes zijn? Ja, 'Testing theories and the foundations of statistics'. Dat natuurkundigen van alle tijden zich niets aantrokken van meetfouten. Ptolemeus, Newton, /1
Ontbrekende aandacht voor meetfouten in natuurkundige publicaties (lesmethoden dus ook) wekt de indruk dat het hier om exacte wetenschap gaat, als zou het wiskunde zijn. Nancy Cartwright laat zien dat zoiets een misvatting is: (1993). 'How the laws of physics lie. Oxford UP /3
Nadenkend over de geschiedenis van beoordelen in het onderwijs van de 20e eeuw kom ik op de volgende stelling:
De overgang van het eeuwenoude rangordenen op het moderne cijfergeven, 2e helft 19e eeuw (citaat uit Wilbrink 1997), leidde tot een andere selectieve cultuur.
Ging het bij het rangordenen om de strijd om de beste te zijn, beloond met een prijsboek (), bij het cijfergeven was het voortaan zaak niet tot de slechtsten te horen: 'onvoldoende' cijfers betekenden zittenblijven of afstromen.repository.ubn.ru.nl/handle/2066/26…
Maar dat cijfergeven is niet iets totaal anders dan het rangordenen () hè! Cijfergeven is nog steeds rangordenen, maar het is een vorm van gestandaardiseerd rangordenen, en tegelijk een sterkere kwantificering van (verschillen in) prestaties.press.princeton.edu/books/hardcove…
Toetsresultaten scheiden in 'onvoldoende' en 'voldoende' resultaten.
'Is absoluut noodzakelijk' is natuurlijk te verdedigen: meteen 'onvoldoendes' en 'zittenblijven' afschaffen leidt tot chaos.
Maar het bredere perspectief is anders. Zouden we het beoordelen in onderwijs opnieuw mogen ontwerpen, is het werken met cesuren dan optimaal?
'Dat spreekt vanzelf' ligt erg voor de hand. Ik heb mij bij herhaling en over meerdere decennia schuldig gemaakt aan deze stilzwijgende vooronderstelling.
Maar de juistheid van die vooronderstelling moet echt worden onderzocht. Ik heb daarin gefaald, hoewel vaak op het randje.
Een belangrijke bron van ongelijkheid in het onderwijs zelf zijn de talrijke toetsen en tests.
Dat zit zo. Een toets maken is een gelegenheid bij uitstek om kennis te consolideren. En dat werkt alleen wanneer de opdrachten ook maakbaar zijn: makkelijk.
Bij de heersende toetsideologie van niet alleen leraren zelf, maar vooral van leveranciers zoals het Cito, zijn toetsvragen vooral MOEILIJK. In die visie zijn toetsvragen ideaal die de helft van de leerlingen goed kunnen maken.
De hel op aarde, voor te veel leerlingen.
Sorry, mijn vingers schoten even uit over het toetsenbord.
Wat neemt een leerling mee van toetsen/toetsvragen die te moeilijk zijn? Op zijn best helemaal niks, zonde van de tijd. Dat mag eens een keer gebeuren, maar wanneer dit stelselmatig is, groeien leerlingen uit elkaar.
Jammer dat er maar 4 alternatieven zijn. Ik kom er dinsdag natuurlijk inhoudelijk op terug.
Na 125 deelnemers tekent zich een interessante verdeling af. Ik moet me maar eens gaan voorbereiden op een snuggere duiding van een en ander. Ga ondertussen door met beantwoorden van deze eenvoudige eindtoetsvraag. (Het is niet gezegd dat er maar één antwoord goed is ... )