Adriaan de Groot en Bob van Naerssen brachten in 1969: 'Studietoetsen construeren, afnemen, analyseren' uit. Het was zijn tijd vooruit, maar ook in de negatieve zin: dat de auteurs het beter nog eens een jaartje hadden kunnen laten bezinken. Het boek moet nog eens van een
kritische bespreking worden voorzien, ook al is er ondertussen meer dan een halve eeuw verstreken. Het boek is activistisch, ideologisch geladen, benadrukt voordelen van vierkeuzetoetsen (dogmatiek: het moet vier zijn) en verzwijgt tegelijkertijd nadelen daarvan.
Het boek heeft enorme invloed gehad op de wijze waarop er in ons onderwijs, van kleuterschool tot universiteit, wordt getoetst. Kwam ik nog mijn onderwijs door zonder ooit een keuzetoets te hoeven maken, tegenwoordig zijn leerlingen en studenten veel tijd kwijt aan die toetsen.
Omdat ik een beetje geobsedeerd ben geraakt door vragen hoe kleine krachten in het onderwijs enorme impact kunnen hebben omdat ze bijna 20 jaar worden uitgeoefend, zie ik dat het onderwijs waarschijnlijk enorme schade oploopt door het kwistige gebruik van keuzetoetsen.
Ik werd tot deze overpeinzing getriggerd door tentamens rechten in mijn archief: met 40 of 50 vierkeuzevragen, jawel, met veel tekst in de alternatieven. Daaronder ook vragen van het type I en II onjuist, I juist II onjuist, I onjuist II juist, I en II onjuist.
Als ik het mij goed herinner, werd dit type vraag als bruikbaar geadviseerd in De Groot en Van Naerssen (1969). Als u ooit dergelijke keuzevragen hebt moeten beantwoorden, dan weet u dat ze de hersenen in een stevige knoop kunnen leggen, dat moet je net niet hebben in een toets.
Ik heb altijd strijd gevoerd tegen het gebruik van keuzevragen in het onderwijs, wat me niet altijd, maar soms ook wel, in dank is afgenomen. Afijn, kijk zelf benwilbrink.nl/projecten/toet…
De Groot heeft later verteld dat in de beginjaren van het Cito er voor is gekozen om alleen VIER-keuzevragen te gebruiken en te promoten, om verwerking van resultaten overzichtelijk te houden. Toetsresultaten werden op ponskaart gezet, voor verwerking met IBM-apparatuur.
Wat De Groot en vele anderen zich niet realiseerden: voor de verwerking van de toetsen maakt het niet uit of er ook 2-keuze en 3-keuzevragen zijn gebruikt.
Zo ontstond de gekkigheid van die dubbele I/II juist/onjuist vragen, want ja, je moest VIER alternatieven hebben. Niet dus.
Pas jaren later begon het te dagen dat vierkeuzevragen lastig zijn te ontwerpen. Meestal is er wel een alternatief bij dat door vrijwel niemand wordt gekozen, dat 4e alternatief kun je beter maar weglaten. Zo ontstaat ruimte om extra vragen in de toets op te nemen.
Als De Groot en Van Naerssen het manuscript nog even hadden laten rijpen, dan hadden zij hun inzichten uit 1970 erin verwerkt, met waarschijnlijk een sterk andere uitkomst.
Adriaan (transparantie): benwilbrink.nl/publicaties/70…
Bob (tentamenmodel): benwilbrink.nl/publicaties/70…
Beide behoren tot het reservoir van 'vergeten' publicaties. Volkomen ten onrechte, het gaat mijns inziens om publicaties die een waterscheiding teweeg hadden kunnen brengen in Nederland toetsland: van benadrukken van verschillen (psychometrie) naar integer toetsen (didakometrie).
Maar hoe is het gegaan? Cito ging door op de psychometrische weg: verschillen tussen leerlingen benadrukken. Wel een sterke psychometrische afdeling, maar nul aandacht voor onderwijs zelf. Het Cito maakte zich, zeker na de verzelfstandiging, tot speelbal van onderwijsideologen.
Van Naerssen kreeg geen steun voor zijn tentamenmodel (besliskundige benadering met focus op de student als de beslisser, niet de docent) en verstrikte zich in technische problemen. Hetzelfde geldt trouwens voor mijn eigen werk in het verlengde van dat van Van Naerssen.
Ik kreeg in 1986 de gelegenheid om het verschil tussen testen (psychometrie) en toetsen (didakometrie) uit te werken: benwilbrink.nl/publicaties/86…
De Cotan nam deze benadering over in zijn Richtlijnen van 1988. De huidige Cotan staat er niet achter, de Standards zijn de norm. #pity
Het is vooral daarom jammer, omdat het onderwijs de ballast van eeuwen en eeuwen benadrukken van verschillen—rangordenen— met zich meetorst. Cijfergeven = rangordenen, wist u dat? Zie benwilbrink.nl/publicaties/97… Vrijwel alle onderwijsonderzoek vindt binnen dat paradigma plaats!
Mijn geschiedenis gaat tot 1900. Was tot 1900 het voor iedereen duidelijk dat rangorde ertoe deed, na 1900 werd dat versluierd door het pseudo-gestandaardiseerde cijfergeven, samen met IQ-testerij (psychometrie) en geloof in aangeboren verschillen. Doe er iets aan, jongelui.
Over de keuzevragen-ideologie in De Groot en Van Naerssen 1969 Studietoetsen: zie ook een lezing van De Groot in 1959, waarin hij zijn objectiviteits-ideologie presenteert—10 jaar was niet voldoende voor een redelijke correctie op die ideologie. objects.library.uu.nl/reader/index.p…
• • •
Missing some Tweet in this thread? You can try to
force a refresh
I want to start a thread about a special theme.
Educational careers extend over about 20 years. That means that very small effects can accumulate to a major effect. That especially concerns everything that has to do with assessment. Think along with me, if you want.
A simple example to start with. The multiple-choice format of tests forces students to make many considerations that are not relevant for open questions. Such as guessing when not knowing. For a single test, that is not a problem. But as a daily routine, for twenty years?
What does that do to students? This is a question I have had for almost half a century. In that half century I have not come across any research on this. I will check it again in Scholar See?scholar.google.nl/scholar?hl=nl&…
Ik woon een paar honderd meter van een Agora-school. Een oud-rechter vertelt ons dat zij haar zoon naar dit wonderwijs stuurt [Aisha Dutrieux, Volkskrant 8-8] . De jongen zal beste tegen de nodige problemen aanlopen, maar zijn ouders gaan dat prima voor hem oplossen. /n
'Eigentijds rekenen', wat mag dat zijn? Ik vraag dat naar aanleiding van het artikel 'Naar heldere, eigentijdse kerndoelen voor rekenen en wiskunde' in Van 12 tot 18, mei 2023. Ja, ik loop achter met bijhouden van mijn literatuur. Maar toch, ik sla er steil van achterover. /n
De vroegste populaire Europese rekenboeken berusten op het uitvoerige werk uit 1202 van Fibonacci: 'Liber abaci' . Rekenen is in die meer dan 800 tussenliggende jaren niet 'eigentijdser' geworden. Dus waar is SLO nu mee bezig? Ah, met 4 'domeinen'! /nlink.springer.com/book/10.1007/9…
1) de wiskundige attitude, 2) wiskundige denk- en werkwijzen, 3) wiskundige concepten, 4) wiskunde en de wereld. Bent u er nog? Erg 21e-eeuws vaardig. De kerndoelen moeten ook nog bijdragen aan gelijke kansen voor leerlingen, staat in de opdracht van OCW aan SLO. Lees maar: /n
Contextrekenopgaven: algebraïseren.
Stelling: we zijn ons door versimpelde contexten in rekenmethoden en -examens niet meer goed bewust van hoe lastig algebraïseren van concrete situaties vaak is.
Hoe algebraïseert u bijvoorbeeld wat er gebeurt bij toetsen van beheersing?
Er moet toch een wiskundig model zijn op te stellen, want we hebben er wel voor gezorgd dat de toets kwantiteiten oplevert, zoals 'aantal goed'.
Als u er niet uit komt, waar zou u in de literatuur gaan zoeken naar mogelijke modellen?
Misschien moet ik toch twee aanwijzingen geven: 1) de beheersing van de stof moet in het model voorkomen, noem deze 'p'. 2) een toets is geen meting, maar een steekproef; of eigenlijk: evenveel steekproeven als er bijvoorbeeld vragen in de toets zijn, noem dit aantal 'n'.
Wroetend in mijn omgevallen boekenkast kom ik iets verrassends tegen. Het zal wel weer een publicatie van Patrick Suppes zijn? Ja, 'Testing theories and the foundations of statistics'. Dat natuurkundigen van alle tijden zich niets aantrokken van meetfouten. Ptolemeus, Newton, /1
Ontbrekende aandacht voor meetfouten in natuurkundige publicaties (lesmethoden dus ook) wekt de indruk dat het hier om exacte wetenschap gaat, als zou het wiskunde zijn. Nancy Cartwright laat zien dat zoiets een misvatting is: (1993). 'How the laws of physics lie. Oxford UP /3
Nadenkend over de geschiedenis van beoordelen in het onderwijs van de 20e eeuw kom ik op de volgende stelling:
De overgang van het eeuwenoude rangordenen op het moderne cijfergeven, 2e helft 19e eeuw (citaat uit Wilbrink 1997), leidde tot een andere selectieve cultuur.
Ging het bij het rangordenen om de strijd om de beste te zijn, beloond met een prijsboek (), bij het cijfergeven was het voortaan zaak niet tot de slechtsten te horen: 'onvoldoende' cijfers betekenden zittenblijven of afstromen.repository.ubn.ru.nl/handle/2066/26…
Maar dat cijfergeven is niet iets totaal anders dan het rangordenen () hè! Cijfergeven is nog steeds rangordenen, maar het is een vorm van gestandaardiseerd rangordenen, en tegelijk een sterkere kwantificering van (verschillen in) prestaties.press.princeton.edu/books/hardcove…