Thread by @benwilbrink

Ik wil het een week lang over examens hebben, onze eindexamens in het bijzonder. Ik ga ze van vele kanten aanvliegen, maar dus niet vanuit de positie van de leraar die leerlingen erop voorbereidt. Want ik ben geen leraar. Vul mij op dit punt aan, graag.

Ik zal vaak teruggrijpen op materiaal op benwilbrink.nl/sitemap.htm Heel die website gaat over examens, eigenlijk. Er is ook een bestand waarin ik publicaties over examens verzamel, een ongeordende maar juist daardoor altijd inspirerende zooi mengelwerk. benwilbrink.nl/literature/exa…

Ik ga eens gek beginnen: met geschiedenis van examens. Ik schreef er een engelstalig artikel over benwilbrink.nl/publicaties/97… in Studies in Educational Evaluation, 1997. Maar er is ook een nederlandstalige (eerdere) versie met uitvoerig notenapparaat: benwilbrink.nl/publicaties/95…

Het domein van dit artikel is de wereld, het tijdvak is tot circa 1900. Waarom tot 1900: dan begint het tijdvak van de psychologische tests die een enorme invloed op beoordelen in het onderwijs gaan krijgen (voor een birdseye view zie van12tot18.nl/artikelen/cijf…)

Voor de periode tot 1900 zijn algemene geschiedenissen van examens zeldzaam, George Madaus schreef er een: libgen.li/ads.php?md5=8d….
Ik bestudeerde het onderwerp om een smaakmakende opening te krijgen voor een proefschrift over tentamenmodellen, maar dit terzijde.

In Google Scholar scholar.google.nl/scholar?hl=nl&… blijkt het artikel royaal te worden geciteerd, daar ben ik blij mee. O.a. Harari citeert het in Homo Deus (noot 6 in hoofdstuk 4).
Bijzonder is dat Scholar direct doorverwijst naar de transcriptie op mijn website, vind ik wel fijn.

Genoeg zelf-promotie. Waarom is die geschiedenis belangrijk: omdat onderwijs zo'n sterk door duizendjarige tradities gedreven zaak is. We doen in politiek en media wel alsof de problemen in ons onderwijs pas gisteren zijn ontstaan, maar dat is natuurlijk toch vaak niet zo.

Hebben wij in het Westen onze ideeën over examens ook ontleend aan de keizerlijke examens in China? Dat is niet waarschijnlijk. Er is een sterk contrast tussen onze West-Europese examens (sinds het ontstaan van universiteiten) en de Chinese examens voor bestuursfuncties.

In Europa waren maatschappelijke elites (adel en aristocratie) niet echt onderworpen aan examens: dat waren vooral ceremoniële gebeurtenisssen. Dat was in China bepaald anders. Ik zie Benjamin Elman (2000) ucpress.edu/book/978052021…, p. xxiv, het als volgt samenvatten:

" .. civil examinations were a cultural arena within which diverse political and social interests contested each other and were balanced." (Fantastisch boek, trouwens).
In China is de geschiedenis van zijn Civil Service Examens ook de culturele geschiedenis van het rijk.

Omdat de Chinese examens geen invloeden vanuit Europa hebben ondergaan, en zo'n vooraanstaande plaats in de samenleving innamen, is bestudering van die examens een probaat middel om onze eigen examens als helemaal niet vanzelfsprekend te gaan zien. Out of the box.

In China verdeelde de maatschappelijke elite dus de belangrijke/aantrekkelijke maatschappelijke (bestuurlijke) posities onderling op competitieve wijze via de keizerlijke examens. Een bondje tussen de keizer en de elite.
Zou dat bij de Europese examens echt anders gaan?

In feodaal Europa werden de belangrijke posities gewoon zonder examens onderling verdeeld door de erfelijke adel onder regie van vorsten zoals Karel de Grote, Floris V, Karel V, Willem van Oranje. Ondertussen groeide aan de universiteiten wel een systeem van examens die van

belang waren voor niet-adelijke jongeren om aantrekkelijke maatschappelijke posities te bereiken binnen die universiteiten zelf, de kerkelijke instituties, de administratie van vorsten steden en handelaren. Die examens konden sterk competitief zijn, zoals bekend ia van de

examens aan de Leuvense universiteit begin 16e eeuw (toen ook Erasmus er doceerde) waar vier 'colleges' met elkaar de intellectuele strijd aangingen. Persoonlijke winnaars konden rekenen op aanstellingen in universitaire of kerkelijke posities. Meritocratie avant la lettre.

Er is ondertussen een uitgebreide literatuur over deze ontwikkelingen in de (laat-)middeleeuwse periode.
Specifiek voor rechten bijv.: James A. Brundage (2008). 'The medieval origins of the legal profession. Canonists, civilians, and courts'. annas-archive.org/md5/a51ed3cee6…

Een actuele algemene geschiedenis van ontwikkelingen binnen de universiteiten geeft:
Hilde de Ridder-Symoens (Ed.) (1992). 'A history of the university of Europe. Volume I, Universities in the middle ages'. Cambridge UP. annas-archive.org/md5/2dc4459c63…

Universitaire examens gaven het recht om overal te doceren. Universiteiten waren lerarenopleidingen, zeg maar. Latijnse scholen waren voorbereidend. De bakermat van Europees georganiseerd 'middelbaar onderwijs' ligt in Zwolle. De school van Joan Cele:

Tekst van Sjoerd: didactiefonline.nl/blog/vriend-en….
Om met 2 assistenten bijna 1000 leerlingen onderwijs te geven, ontwikkelde Joan Cele een 'klassikaal' systeem, dat navolging vond in heel Europa. Joan bepaalde zelf halfjaarlijks wie er naar een hoger niveau doormocht.

Het hoogste niveau was gelijk aan een universitaire propedeuse. Zo kreeg middelbaar onderwijs zijn organisatie, toch een voorwaarde voor zoiets als een eindexamen, pas eind 19e eeuw aan de orde.
Moeten we dat verhaal over Joan Cele geloven? Ja hoor: research.vu.nl/ws/portalfiles…

Houd vast dat we in onderwijs hebben te maken met gewoonten die vele eeuwen oud kunnen zijn, ooit functioneel zijn geweest, maar wie zegt dat ze dat vandaag ook nog zijn?
En dat tegen de achtergrond dat onderwijs ook veel heeft te maken met machtsverhoudingen in de samenleving.

Als contrast met huidige examens vertel ik iets over mijn eigen examen, 1962, gymnasium betha. Ik lees bij Idenburg (1964, Schets van het Nederlandse schoolwezen) dat de Inspectie de schriftelijke opgaven voor de eindexamens verzorgde. Een commissie probeerde een gezamenlijke

lijn te brengen in de waardering van antwoorden. (Het Cito kreeg eind 70er jaren de verantwoordelijkheid voor de eindexamens vo.) Het schriftelijk bestond voor mij alleen uit wiskunde, Nederlands, en MVT. De opgaven zijn gepubliceerd:

S. J. Richter (1969). Schriftelijke opgaven van het eindexamen der gymnasia. Wolters-Noordhoff.
Voor de HBS waren er ook van dergelijke publicaties:
D. J. Kruijtbosch en S. J. Richter (1969). Schriftelijke opgaven van het eindexamen der hogereburgerscholen-B. Wolters-Noordhoff.

Het zou fijn zijn wanneer die oude eindexamens online beschikbaar zijn. Zoeken in Delpher levert wel een oudere publicatie op:
D. J. Kruijtbosch (1916). Schriftelijke opgaven van het eindexamen der Hoogere Burgerscholen vanaf 1885. delpher.nl/nl/boeken/view…
Dat is het, helaas.

Wiskunde (sterometrie, herinner ik mij) bestond uit enkele grote opgaven, op een half A4. Nederlands: een opstel, en tekstverklaring. MVT: proefvertalingen. Ambassades stelden boeken beschikbaar voor de leerlingen met de beste vertaling (per school).

Nakijken van examenwerk: door de eigen leraar, in samenspraak met een deskundige of gecommitteerde. Voor de gymnasia wees de minister deze gecommitteerden aan.
Mondeling examen bestond uit wiskunde (analytische meetkunde en goniometrie), en natuurkunde/scheikunde.

Latijn en Grieks werden niet geëxamineerd, maar daarvoor kreeg je het laatste rapportcijfer op je eindlijst (volgens Idenburg, ik kan me dat niet herinneren).
Mondeling werd afgenomen door de eigen leraar en de gecommitteerde. Spannend hoor.
En ja, je kon op een puntje zakken.

Organisatorisch waren deze eindexamens eenvoudig en overzichtelijk. Er was wel sprake van nadrukkelijke overheidsbemoeienis om examens vergelijkbaar te maken, en de kwaliteit ervan te borgen.
Deze eindexamens legden ook beperkingen op aan de vrijheid van leraren (Idenburg).

Het examen wiskunde bevatte geen flauwekul contexten. Het was wiskunde. Het beoordelen van van deze examens was niet problematisch, het waarderen is een ander verhaal.
Maar dan die talen: opstel en proefvertalingen, bij uitstek problematisch wat beoordelen betreft.

Hoewel ik voor Duits een '8' stond, scoorde ik met mijn proefvertaling een '5'. Ik herinner mij dat ik een enorm probleem had met één woord waarvan ik de betekenis niet scherp kreeg.
Het was al wel bekend dat dergelijk examenwerk problematisch was: benwilbrink.nl/bigfiles/harto…

Dit is dus het discussiepunt: het opstel en de proefvertaling terug in de examens, is dat wenselijk? Wat zijn de voor- en nadelen? Moeten we dan niet meer in de richting van ceremoniële examens denken?
Aha, ik heb dat nog niet uitgelegd, hoe zoiets in de middeleeuwse

universiteiten ging: zodra je meester de overtuiging had dat jij, zijn student, helemaal klaar was voor het examen, meldde hij je aan bij zijn collega-meesters, die vervolgens het examen afnamen. Onafhankelijk van je eigen meester dus. Maar wel met slaaggarantie. Vgl: promotie.

Ter afsluiting: in 1962 was het eindexamen niet iets waar het het hele laatste schooljaar over ging. De organisatie was licht van karakter, voor leraren, leerlingen, school, en ook nationaal (ontwerp van de examens door de Inspectie).

unroll @threadreaderapp

Nog bijna vijf dagen te gaan, er komen nog meerdere onderwerpen aan de orde. ik wil snel beginnen met het ontwerp van examenvragen, dat is voor leraren en leerlingen ook het meest aansprekende. En de crux van examens: als dit ontwerpen niet deugt, waar zijn we dan mee bezig?

Het ontwerp van examenopgaven. Ik begin met op te merken dat de examens vo niet louter afsluiting zijn, maar dat je er ook op kunt zakken. Waarom is dat eigenlijk? Leraren hebben 4 tot 6 jaar gewerkt met deze leerlingen, kennen ze dus door en door. Hoezo dan nog zakken?

Ik laat die vraag nu rusten, want waar het mij om gaat is dat ontwerpers van examenopgaven er evident vanuit gaan dat die opgaven MOEILIJK moeten zijn. Is dat een natuurwet dan? Moet een examen SELECTIEF zijn? Nee toch. We maken dat elkaar voortdurend wijs ('Vijven en zessen').

Wat zijn eigenlijk de eisen die we aan de kwaliteit van examens en van examenvragen moeten stellen? O, wacht, laten we toch eerst maar even kijken naar het inhoudelijk ontwerpen van examenopgaven, want dat moet toch de basis van alles zijn, niet?

Ik schreef er ooit een cursusboek voor, in 1983 omgewerkt tot Aula 809 in de Onderwijskundige Reeks voor het Hoger Onderwijs: benwilbrink.nl/projecten/toet…
Omdat in de grote bezuinigingsoperatie van de 80er jaren (TVC) mijn werkplek werd opgeheven, is het bij deze editie gebleven.

De basisgedachte is dat het ontwerpen van toetsvragen geen gave vereist die sommige leraren wel, anderen minder bezitten, maar dat het een rationele aanpak vergt. Dan kan de ontwerper ook goed uitleggen wat zijn opgaven precies vragen en waarom dat zo is.

En dat laatste is niet vanzelfsprekend hè! Nederland heeft juist een ongelooflijk examendebacle achter de rug: de politiek en maatschappelijk onhoudbare #rekentoets als extra onderdeel van examens vo (en mbo). Deze expertisecentra flikten dit kunstje: Cito CvTE SLO Inspectie.

Die #rekentoets als extra onderdeel bij de examens vo is een fantastisch casus om aan te demonstreren wat er zoal verkeerd kan gaan bij het ontwerpen van examenopgaven. nHet is zo gek niet te bedenken, of het kwam voor. Zelfs het staatsbelang werd aangeroepen om opgaven geheim

te houden.
Het ernstigste probleem bleek te zijn dat scholen niet in staat waren hun leerlingen doeltreffend op deze #rekentoets voor te bereiden. Zeker, leerlingen vmbo tl en gl, en vwo, konden voor de #rekentoets slagen zonder grondige voorbereiding. benwilbrink.nl/publicaties/14…

Hier hebben we dan ook de belangrijkste kwaliteitseis voor een examen te pakken: een examen moet door de leerling doeltreffend zijn voor te bereiden. A.D. de Groot heeft deze eis geformuleerd, in 1970: benwilbrink.nl/publicaties/70…

De eis van doeltreffend voor te bereiden klinkt misschien vanzelfsprekend, maar is dat allesbehalve. En daar stuiten we op een enorm probleem bij toetsen en examens zoals die door institutionele partijen (Cito, CvTE) worden ontworpen:

zij gebruiken het psychometrisch apparaat uit de testpsychologie, gericht op diagnostiek, waar juist de vooronderstelling is dat de te testen personen zich NIET specifiek op de test hebben kunnen voorbereiden. Afijn, ik heb het hier uitgelegd, in 1986: benwilbrink.nl/publicaties/86…

De Groot schrijft dat hij de eis van doeltreffend voor te bereiden belangrijker vindt dan de ultieme eis voor tests zowel als toetsen: validiteit van (beslissingen op basis van) tests en toetsen. Ik zou kunnen zeggen: doeltreffend voorbereidbaar IS validiteit van het examen.

unroll @threadreaderapp