Thread by @benwilbrink

Het Cito feliciteert zichzelf. Wie daarnaast ook nog enige kritische zelfreflectie verwacht komt bedrogen uit, ben ik bang. Het woord ‘rekentoets’ komt er niet in voor. Wie dit boek leest krijgt niet mee dat bv realistisch rekenen/wiskunde controversieel is. #bijzonder

https://twitter.com/Cito/status/1179659115112599553

Illustratief voor het ontbreken van kritische zelfreflectie: de lezer van dit jubileumboek zal niet lezen dat er er richtlijnen (NIP 1988) en Standards (APA etc 2014) voor de kwaliteit van toetsen bestaan. Zoals ooit ook CEO Marten Roorda verantwoordelijkheid wegtwitterde.

NIP (1988). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut van Psychologen. Tweede editie. [Hoofdstuk] 8. Toetsgebruik in het onderwijs pdf ben-wilbrink.nl/Richtlijnen_To…] [waarschuwing: ik leverde er een bijdrage aan]

AERA, APA & NCME (2014). The Standards for Educational and Psychological Testing. apa.org/science/progra…

Regrettably, ‘the Standards’ is not an open access publication.
In Nederland beschikbaar in universiteitsbibliotheken.

Bijvoorbeeld, “If the rationale for a test use or score interpretation depends on premises about the psychological processes or cognitive operations used by examinees, then theoretical or empirical evidence in support of those premises should be provided. (p. 19, 1999 editie)”

Marten Roorda is wel zo sportief dat hij zijn onthullende tweet heeft laten staan:

https://twitter.com/MartenRoorda/status/387882360399618048

Deze tweet is een regelrechte ontkenning van ongeveer alles wat ooit over de eisen van validiteit van tests en toetsen is geschreven. #kennisinstituut????

Historisch feitje: tot begin 80er jaren hield het Cito Freudenthal en realistisch rekenen op afstand (pers. meded. Pieter Drenth), eind 80er jaren kreeg Adri Treffers voet aan de citogrond (F. van der Blij & A. Treffers (1985). Rekenen-wiskunde. WB 7. WRR) volkskrant.nl/nieuws-achterg…

Het Cito heeft tegenspraak/tegenkracht nodig om tot kwaliteitsverbeteringen te komen beroepseer.nl/images/stories…

Het is mijn project om aan die tegenspraak bijdragen te leveren ;-) (1977, '80, '83, '86, '94, '11, '12)

Het woord ‘objectief’/‘objectieve’ komt in het jubileumboek 24 keer voor. Dat is superieure framing, echt waar.

Er is NIETS aan meerkeuzetoetsen dat de kwalificatie ‘objectief’ rechtvaardigt. Heb het al in 1977 uitgelegd, ten overstaan van Solberg c.s. benwilbrink.nl/publicaties/77…

De genoemde 1977 happening op de ORD is overigens een voorbeeld van tegenspraak (en hoe: Solberg en Wesdorp waren zeer verontwaardigd) die het Cito verder heeft geholpen (pers. meded. Henk Kreeft): voor de eindexamens moest het Cito immers wel van het eigen dogma ‘vierkeuze’ af.

Ik kan het niet laten uit de ronkende tekst van de bestuursvoorzitter te citeren: “Onze grondlegger A.D. de Groot ontwikkelde als briljant wetenschapper een onafhankelijke, wetenschappelijk gefundeerde toets, die de capaciteiten van een kind objectief en eerlijk op tafel legde.”

De werkelijkheid is dat de Amsterdamse Schooltoets in elkaar werd geknutseld door pedagoog Djien Thio. Niets denigrerends mee bedoeld, veel werk van academici bestaat uit knutselen waar er nog geen gevestigde routines zijn. Djien ging later mee naar het Cito.

Anneke Blok, voorzitter van de Raad van Bestuur van het Cito, geeft in een uitvoerig hoofdstuk de indruk dat de ‘citotoets’ een eind maakte aan afkomst als bepalend voor ieders onderwijsloopbaan. Gelooft u het? Het lastige is dat zij voor dat frame geen bronnen noemt.

Een actuele discussie over advies en toets bij de overgang naar het vo, artikel van Lek en Van de Schoot in De Psycholoog (niet genoemd in het jubileumboek):

https://twitter.com/RedactieDP/status/1113372285434585089

open access. Zie ook de twitterdraad threadreaderapp.com/thread/1113378…

Afkomst en ‘citotoets’. In mijn geval, 1956, was afkomst zeker niet bepalend voor toegang tot het gymnasium, wel mijn hoofdonderwijzer Kerkmeijer, en mijn prestaties in de selecterende proefklas. Democratisering was al gaande. Er was niet niets voorafgaand aan die ‘citotoets’.

Deze persoonlijke anecdote heeft een voorspel: mijn moeder’s hoofdonderwijzer Bloem pleitte als Brugman om haar verder te laten leren, maar mijn oma had haar eigen normen: 9 oudere broers en zussen hadden die kans ook niet gekregen, haar door laten leren zou dus oneerlijk zijn.

Anneke Blok lijkt op het verkeerde been gezet door de retoriek dat de ‘citotoets’ de eerste objectieve en eerlijke selectieve toets voor 12-jarigen zou zijn. Onzin natuurlijk, ik zal daar later uitvoeriger op ingaan adhv De Groot & Van Naerssen (Red.) (1969) ‘Studietoetsen’.

Selectie voor vo kreeg een markant begin met een wetswijziging voor de HBS. Thorbecke’s HBS kende geen selectie, ouders waren best in staat daar zelf over te beslissen. Docenten kwamen in opstand, en kregen hun zin: al na 5 jaar kreeg de HBS zijn selectie-aan-de-poort. Ca 1870.

Selectie met toetsen dateert niet van 1966/68, maar is echt al wat ouder. Dat scholen dat ieder met eigen toetsen konden doen, doet daar weinig aan af. Niet afkomst, maar toetsresultaat was bepalend. Stellwag 1955: Selectie en selectiemethoden: aansluitingsvraagstuk LO en VHMO

Op de vragen in die toetsen was felle kritiek van Theo Thijssen ben-wilbrink.nl/Thijssen_De_Ex… 24 Mb scan. Zoals er ook op de vragen in de ‘citotoets’ felle kritiek mogelijk is, tenslotte is ‘toets’ hier een eufemisme voor wat in feite een soort intelligentietest (aptitude test) is.

Met ‘gelijke kansen’ bedoelt Anneke Blok hetzelfde als de onderwijsinspectie: BIJ GELIJKE CAPACITEITEN. Maar daar zit een ideologie achter, een wereld van impliciete vooronderstellingen. En deze ideologie zet de emancipatoire kwaliteit van het onderwijs zelf buiten haken!

Ik heb dat al eens uitgelegd in Van 12 tot 18: Op weg naar eerlijk onderwijs van12tot18.nl/op-weg-naar-ee… en in Fair schooling — take-off benwilbrink.wordpress.com/2018/08/23/fai…

Kortom, waar Anneke Blok de producten van 50 jaar Cito alleen maar bejubelt, is er ook een schaduwkant die waarachtig niet moeilijk te zien is: het Cito heeft ook een halve eeuw lang oneerlijk onderwijs helpen bevestigen. Was dat nodig? Nee. Had dat anders gekund? Best wel.

We zijn met zijn allen steeds hoger opgeleid; een proces van eeuwen waar de ‘citotoets’ niets mee heeft te maken. Mocht er ooit een aardige literatuurstudie over maken, met Jaap Dronkers, voor ARO en OCW. benwilbrink.nl/publicaties/93… Democratisering van ho? Of race to the bottom?

Waarom kom ik daar nu mee?

De vraag is of onderwijs op aarde is
1) om de arbeidsmarkt te dienen,
2) om nieuwe generaties weerbaar te maken,

of (voor de verzoeners onder ons)
3) beide in een goede balans.

15% functioneel ongeletterd bij de overgang bo-vo: het bo faalt op 2).

De arbeidsmarkt absorbeert al die steeds hoger opgeleiden, soms tegen alle verwachtingen in. En dat heeft lange tijd stijgende mobiliteit mogelijk gemaakt.

Maar aan die stijgende mobiliteit lijkt nu een (voorspelbaar) einde gekomen: Goldthorpe 2016 thebritishacademy.ac.uk/sites/default/…

Het zijn niet de citotoetsen van deze wereld die sociale stijging mogelijk maken, wat de claim van Anneke Blok lijkt, maar het is de economie die er de ruimte voor moet bieden.
Bukodi & Goldthorpe (2018). Social Mobility and Education in Britain. Research, Politics and Policy.

unroll @threadreaderapp

Conclusies in dat boek: sci-hub.tw/10.1017/978110…
Goldthorpe publiceerde eerder met Robert Erikson 1992 ‘The constant flux. A study of class mobility in industrial societies’, weer zo’n klassieker die ik van kaft tot kaft had moeten lezen, maar wel in mijn boekenkast staat ;-)

Terug naar de ‘core business’ van Cito, 50 jaar geleden, en nog steeds? Dat is de ‘objectieve vierkeuze-studietoets’. Met de kennis van nu is het m.i. evident dat de keuzetoets een (VS-)exoot is die niet in ons onderwijs thuishoort, maar het ondertussen wel heeft overwoekerd.

Het voltrok zich vooral in de 60er jaren. Drie sleutelpublicaties: A.D. De Groot 1961 ‘Methodologie’; idem 1966 ‘Vijven en zessen’; De Groot & Van Naerssen (Red.) 1969 ‘Studietoetsen’. Het is de hoogste tijd dat daar eens kritisch historisch onderzoek naar wordt gedaan.

Het frame van ‘objectiviteit’ is nog steeds een dingetje in het Cito, lees Anneke Blok. De Groot (1969, p 10) is het met mij eens dat NIETS objectief is, behalve dan het scoren van keuzevragen. Maar dat laatste is waarachtig triviaal, behalve bij grootschalig toetsen. #kosten

De Groot zag dat die term ‘objectief’ tot misverstanden zou leiden, maar verhinderde niet dat zijn geliefde studietoetsen ooit nog ‘objectief’ zouden heten. Een halve eeuw later zien we politici, maar ook academici, nog steeds dwepen met ‘objectiviteit’ van bijv. eindtoetsen.

In zijn ‘Methodologie’ besteedt De Groot veel aandacht aan allerlei vertekeningen (‘bias’) bij het beoordelen van opstellen en opstelvragen. Misschien wel te veel. Mogelijk is hij daardoor de keuzetoets als aantrekkelijk alternatief gaan zien, zonder dat goed te analyseren.

Tot een goede analyse hoort zeker ook diepgaand onderzoek van het cijfergeven, waar zijn ‘Vijven en zessen’ een prachtig begin van is. Maar wat de oorsprong van ons cijfergeven is, dat is een vraag die niet bij hem was opgekomen (pers. meded.). Die oorsprong is: rangordenen.

Over cijfergeven als moderne vorm van rangordenen: mijn 1997 ‘Assessment in historical perspective’ benwilbrink.nl/publicaties/97… de sectie ‘Punishment or reward? Ranking and marking systems’.

Als we nu eens ophielden leerlingen altijd maar te rangordenen? @Cito, bent u daar nog?

@Cito Don Mellenbergh schreef het openingshoofdstuk in ‘Studietoetsen’. Don gebruikt hier door elkaar: toetsen of de leerling het onderwijs met vrucht heeft gevolgd; onderwijsresultaten schriftelijk ‘meten’; correlatie tussen cijfers van verschillende beoordelaars voor hetzelfde werk;

correlatie tussen cijfers op verschillende toetsen (bijv. opstel versus meerkeuze) over dezelfde stof. Welnu, correlatie is de samenhang tussen twee rangordeningen. Een rangorde zegt op zich weinig tot niets over de vraag of onderwijs met vrucht is gevolgd. ‘Meten’ is eufemisme.

Met de kennis van nu is het bizar dat Mellenbergh en de red. De Groot en Van Naerssen er blind voor zijn geweest dat rangordenen (=psychometrie) zich beroerd verhoudt tot vaststellen of onderwijs met vrucht is gevolgd. Toch is die misvatting nog steeds ‘core business’ van Cito.

Zij waren ongetwijfeld op de hoogte van de ‘Wetmatigheid van Posthumus’, al was in die tijd de toegang tot De Gids uit 1940 minder makkelijk dan vandaag: dbnl.org/tekst/_gid0011… Wat er ook gebeurde in de wereld 1870-1940, de HBS liet ca 23% van de leerlingen zakken. Jaarlijks.

Wat ik u wil meegeven is niet de volledige geschiedenis van de opmars van keuzetoetsen, maar de waarschuwing dat het boek van De Groot en Van Naerssen allesbehalve een wetenschappelijk werk is (wat Anneke Blok meent), maar een pamflet dat koste wat kost keuzetoetsen propageert.

Nog even over ‘Posthumus’: zie het citaat voor wat Van Naerssen erover schrijft. Wat ik dan grappig/kenmerkend vind: een hoop gedoe om het % gezakten ‘eerlijk’ te maken (vgl N-term bij onze eindexamens), ondertussen een % gezakten de normaalste zaak van de wereld vinden.

Deze draad heb ik nu omgewerkt tot een blog benwilbrink.wordpress.com/2019/10/07/jub…