Thread by @benwilbrink

Karen Heij 'Van de kat en de bel. Tellen en vertellen met de eindtoets basisonderwijs' karenheij.bijzonderboeken.nl krijgt een repliek in 'De Psycholoog'. Dupliek van Heij, en commentaar van Marcel Veenman tijdschriftdepsycholoog.nl/artikelen/de-e… Open, bedankt @vittoriobusato @RedactieDP Draadje vv

De repliek van Rob Meijer en Klaas Sijtsma, in vol psychometrisch/methodologisch ornaat, geeft mooi en scherp aan wat mijns inziens het kernprobleem is met de standaard-toetserij in ons onderwijs, al dan niet via Cito:

"Mensen kunnen de Eindtoets gebruiken op een manier waar je van alles van kunt vinden, maar dat is een kwestie van beleid en politiek."

Dit staat haaks op alles wat er in de wereld van test- en toetspsychologie de laatste halve eeuw is uitgedokterd over kwaliteitsstandaarden.

Kunt u zich nog deze tweet van destijds Cito CEO Marten Roorda herinneren? En u weet toch dat die #rekentoets waar het over gaat uiteindelijk, na een half miljard euro van de belastingbetaler, met de vuilnisman is meegegeven?

https://twitter.com/MartenRoorda/status/387882360399618048

Disclosure. Zoals Karen in haar voorwoord aangeeft, heb ik haar op psychometrisch gebied met raad en daad terzijde gestaan. Ik zal dat nu ook doen.
Ik heb haar dupliek met veel genoegen gelezen, ze doet onverstoord haar verhaal over wat er problematisch is aan de eindtoets. /n

Ter zake. Zoals het citaat van Meijer en Sijtsma aangeeft, koppelen zij de TOETS zelf los van het GEBRUIK ervan. Is dat terecht? Dat is de hamvraag.
Er zijn psychologische tests in de handel die voor van alles en nog wat gebruikt kunnen worden. Zoals intelligentietests. /n

Als de overheid een bestaande intelligentietest wil gebruiken bij de toelating tot onderwijs, moet zij aannemelijk maken (onderzoeken) dat dit gebruik van de test valide is. Anders dan M & S stellen is er een legitieme validiteitskwestie bij het GEBRUIK van de test. /n

De Eindtoets Basisonderwijs is, anders dan een IQ-test, ontwikkeld voor één specifiek doel: betere beslissingen bij de overgang van basis- naar voortgezet onderwijs. De ontwikkelaar (Cito) is hier de verantwoordelijke om toets EN GEBRUIK te valideren. /n

Een voorbeeld. Als groeiend schaduwonderwijs zal validiteit van de Eindtoets bij de overgang naar het vo afnemen: de toets bevoordeelt steeds sterker de kinderen van ouders die investeren in schaduwonderwijs. Schaduwonderwijs is een vorm van 'coaching' (Standards) /n

'Validiteit' is het sleutelwoord. A.D. de Groot heeft er een nog steeds bruikbare paragraaf 8.2 over geschreven in zijn 1961 'Methodologie' dbnl.org/tekst/groo004m… Jammer dat hij aan de overgang basis- voortgezet onderwijs geen aandacht schonk. /n

Waar vindt u als ouder, leraar, bestuurder houvast voor deze kwaliteitseisen? In Nederland is de Commissie Testaangelegenheden (Cotan) (Nederlands Instituut voor Psychologen, NIP) de instantie die tests en gestandaardiseerde toetsen keurt. (uitzonderingen daargelaten) /n

De richtlijnen die de Cotan daarbij aanhoudt zijn de Amerikaanse 'Standards for Educational and Psychological Testing' 2014 testingstandards.net/open-access-fi…, zie het uitvoerige deel over 'validity'. Dit is een wereld-standaard.
Merk op dat validiteit gaat over GEBRUIK van toetsen. /n

Moet ik nog melden dat 'Van de kat en de bel. Tellen en vertellen met de eindtoets basisonderwijs' gaat over het GEBRUIK van de Eindtoets Basisonderwijs? En niet over de Eindtoets zelf?
Laat de professie ophouden met kokervisies zoals die uitspraak van Meijer en Sijtsma. /n

Disclosure. Zoals Karen in haar voorwoord aangeeft, heb ik haar op psychometrisch terrein met raad en daad terzijde gestaan. Ik zal dat nu ook doen.
Ik heb haar dupliek met veel genoegen gelezen, ze doet onverstoord haar verhaal over wat er problematisch is aan de eindtoets.

Ter zake. Zoals het citaat van Meijer en Sijtsma aangeeft, koppelen zij de TOETS zelf los van het GEBRUIK ervan. Is dat terecht? Dat is de hamvraag.
Er zijn psychologische tests in de handel die voor van alles en nog wat gebruikt kunnen worden. Zoals intelligentietests. /n

Als de overheid een bestaande intelligentietest wil gebruiken bij de toelating tot onderwijs, moet zij aannemelijk maken (onderzoeken) dat dit gebruik van de test valide is. Anders dan M & S stellen is er een legitieme validiteitskwestie bij het GEBRUIK van de test. /n

De Eindtoets Basisonderwijs is, anders dan een IQ-test, ontwikkeld voor één specifiek doel: betere beslissingen bij de overgang van basis- naar voortgezet onderwijs. De ontwikkelaar (Cito) is hier de verantwoordelijke om toets EN GEBRUIK te valideren. /n

Een voorbeeld. Als groeiend schaduwonderwijs zal validiteit van de Eindtoets bij de overgang naar het vo afnemen: de toets bevoordeelt steeds sterker de kinderen van ouders die investeren in schaduwonderwijs. Schaduwonderwijs is een vorm van 'coaching' (Standards) /n

'Validiteit' is het sleutelwoord. A.D. de Groot heeft er een nog steeds bruikbare paragraaf 8.2 over geschreven in zijn 1961 'Methodologie' dbnl.org/tekst/groo004m… Jammer dat hij aan de overgang basis- voortgezet onderwijs geen aandacht schonk. /n

Waar vindt u als ouder, leraar, bestuurder houvast voor deze kwaliteitseisen? In Nederland is de Commissie Testaangelegenheden (Cotan) (Nederlands Instituut voor Psychologen, NIP) de instantie die tests en gestandaardiseerde toetsen keurt. (uitzonderingen daargelaten) /n

De richtlijnen die de Cotan daarbij aanhoudt zijn de Amerikaanse 'Standards for Educational and Psychological Testing' 2014 testingstandards.net/open-access-fi…, zie het uitvoerige deel over 'validity'. Dit is een wereld-standaard.
Merk op dat validiteit gaat over GEBRUIK van toetsen. /n\

Moet ik nog melden dat 'Van de kat en de bel. Tellen en vertellen met de eindtoets basisonderwijs' gaat over het GEBRUIK van de Eindtoets Basisonderwijs? En niet over de Eindtoets zelf?
Laat de professie ophouden met kokervisies zoals die uitspraak van Meijer en Sijtsma. /n

Een lastige vraag waar Karen en ik niet tijdig uit konden komen: hoe is het in godsnaam mogelijk om met één enkele toets al die leerlingen redelijk valide te plaatsen in een stuk of 7 typen voortgezet onderwijs?
Dat kan ook niet, zie benwilbrink.wordpress.com/2020/09/24/kun… /einde (denk ik)

Oké, ik verwees naar de 'Standards' voor de eisen, internationaal en in NL, aan toetsgebruik, ook juridisch afdwingbaar. Maar die Standards gaan niet specifiek over de situatie van onze overgang basis- voortgezet onderwijs. Ik sla wat piketpaaltjes om het glashelder te maken. /n

De 'Standards' wijzen voortdurend op de noodzaak om empirisch te onderbouwen dat het gebruik van toetsen de bedoelde consequenties heeft, en geen andere. Lees daar niet te snel overheen: empirisch onderbouwen betekent dat er experimenteel onderzoek nodig is, volledig analoog /n

aan wat er nodig is om aan te tonen dat nieuwe medicijnen, vaccins, of behandelingen werkzaam zijn en geen ernstige ongewenste bijwerkingen hebben. 'Meten is weten' is hier echt een gepasseerd station. Het gaat om RCT's, Randomized Controled Trials ncbi.nlm.nih.gov/pmc/articles/P… /n

2de piketpaaltje: onderwijs is geen bedrijf. Selectie voor onderwijstrajecten is echt een ander domein dan selectie door werkgevers op de arbeidsmarkt. Hoewel ook werkgevers gebonden zijn aan wet en regelgeving, en fatsoen, gaat het bij selectie in het onderwijs om veel meer. /n

Onderwijskansen van kinderen en jongeren zijn beschermd door internationale verdragen die Nederland heeft onderschreven. Dit internationaal recht gaat BOVEN nationaal recht (zoals na de Urgenda-zaak eindelijk breder bekend is). Dit is OOK zaak voor toetsontwikkelaars, dus. /n

Het kan niet zo zijn dat het voor valideren van het gebruik van de Eindtoets volstaat een dubbelblind-experiment te doen met bijvoorbeeld bereikt onderwijsniveau als doelvariabele, dat zou een bedrijfsmodel-benadering zijn. Maar zelfs zo'n minimaal ingevuld experiment/RCT is /n

om ethische en praktische redenen volstrekt onuitvoerbaar. U mag hieruit concluderen dat gebruik van de Amsterdamse Schooltoets, zijn opvolger 'de Citotoets', de huidige Eindtoets, en de komende 'doorstroomtoets' NOOIT is gevalideerd. VALIDITEIT ONBEKEND.

Zeker, er zijn publicaties (oa Margo Jansen, Cito, 70er jaren) die laten zien dat 'de citotoets' ongeveer net zo goed 'voorspelt' als het advies van hoofdonderwijzers. Maar dat haalt je de koekoek. Dit zijn correlaties, geen RCT's. Het is één grote 'self-fulfilling prophecy'. /n

Voor een indruk van hoe er gerommeld wordt, in plaats van een RCT op te zetten, zie:
J. W. Oosterbaan (1973). De Amsterdamse schooltoets 1969 in relatie tot enige conclusies van ’Het Verborgen Talent’ Sociologische Gids, 20 #2, 88-97 open access rjh.ub.rug.nl/sogi/issue/vie… /n

unroll @threadreaderapp

Dat validiteit ONBEKEND is van beslissingen die mede op een Eindtoets zijn gebaseerd, moet alle betrokkenen klip en klaar worden meegedeeld:

Standard 1.3
"If validity for some common or likely interpretation for a given use has not been evaluated, or if such an /n

interpretation is inconsistent with available evidence, that fact should be made clear and potential users should be strongly cautioned about making unsupported interpretations."

Hebt u ooit van Cito, CvTE, Inspectie, de school van uw kind, uw Kamerlid, zo'n waarschuwing gehad?

Is er een oplossing, dan? Nee, niet zolang de maatschappelijke bovenlaag vast blijft houden aan het standenonderwijs zoals we sinds de HBS van Thorbecke hebben. En Thorbecke had dan nog een noodverband: laat niet de school, maar de ouders beslissen over toegang tot de HBS. /n

Wie de onderwijsgeschiedenis kent, weet dat die 'open school'-gedachte van Thorbecke maar vijf jaar stand hield: leraren van die nieuwe HBS wilden selectie-aan-de-poort, en die kregen ze. Want Thorbecke was geen minister meer, maar MP. Hielp dat? dbnl.org/tekst/_gid0011… /n

Alles wat problematisch is aan de Eindtoets, is dat mogelijk ook voor het advies dat leerlingen meekrijgen van de school. Met dit verschil dat de leerkracht in groep 8 bovendien heel veel belangrijke informatie heeft over de leerling en relevante omstandigheden.

Ik zou zeggen: investeer in de kwaliteit van de schooladvisering, zodat ouders daar meer steun aan hebben. En nogmaals: waarom ouders niet de beslissende stem geven? Ik hoor uit sociologische hoek al roepen: dat bevoordeelt goed gebekte ouders. Maar is dat onvermijdelijk zo?

Belangrijke kwestie is uiteraard: wat is kwaliteit bij de schooladvisering? Werk dat uit, onderzoek het. Cruciaal is in ieder geval dat leerkrachten hun verantwoordelijkheid nemen, ophouden zich te verschuilen achter discriminerende ideeën over intelligentie en aanleg.

Want ja, dat is de ijzeren 'wetmatigheid van Posthumus': zolang leerkrachten het voor het eigen zeggen hebben: zij zien altijd wel leerlingen die het relatief minder goed doen dan anderen, huppekee, weg ermee. Maar dat kan zo niet langer. Bind de kat de bel aan.