Thread by @benwilbrink

@RedactieDP @vittoriobusato Jaap Dronkers zou smullen van de discussie over advies vs test. In discussie op Twitter gaf hij mij grif toe dat het advies beter voorspelt, toch vond hij de test eerlijker. Dat laatste is voor mij onbegrijpelijk, maar die discussie is met Jaap helaas niet meer te voeren.

@RedactieDP @vittoriobusato Ik ben niet echt gelukkig met de vier vraagstellingen in Lek & Van de Schoot. Het levert verkennend onderzoek op, dat kan best goede onderzoekhypothesen opleveren, maar geen antwoorden op prangende vragen. Althans, dat zou me verbazen. Een alternatief zou zijn geweest om eerst

@RedactieDP @vittoriobusato een analytische studie te doen: wat zijn voor deze specifieke situatie (ca 6 ‘tracks’) de mogelijkheden en onmogelijkheden, gezien beschikbare kennis van onderwijs, cognitieve psychologie, testpsychologie (selectie/plaatsing), sociologie? Want let wel, experimenteren kan niet.

@RedactieDP @vittoriobusato Dat laatste moet ik misschien toelichten. Bij toelatingsselectie is de voorspellende waarde van een selectieve test te onderzoeken door die test wel af te nemen, maar de uitkomsten niet te gebruiken (geheim te houden). Dat lijkt me lastig voor overgangen bo-vo.

@RedactieDP @vittoriobusato Maar met @HermanWerfhorst wel, hij legt uit waarom werken met gestandaardiseerde toetsen eerlijker is hermanvandewerfhorst.socsci.uva.nl/NTOR2015.pdf

@RedactieDP @vittoriobusato Waarschijnlijk vind ik er wat van, van wat Lek & Van de Schoot hier presenteren. Ik begin wat aarzelend. En tja, ik begrijp dat velen nieuwsgierig zijn naar overeenstemming tussen advies en test, maar waarom zou dat interessant zijn? Het gaat om voorspellende validiteit. Toch?

@RedactieDP @vittoriobusato Ik zou heel die vergelijking tussen advies en toets vooral weglaten, het leidt af van waar het om moet gaan. Ik vind dit niet onbelangrijk, omdat in de meningsvorming over advies en test vaak de test als criterium voor validiteit van het advies wordt genomen, wat niet zinnig is.

@RedactieDP @vittoriobusato Ik begrijp dat de onderzoekers aan de slag willen met beschikbare data. Maar ik mis dan toch in de eerste blz enige aandacht voor hoe adviezen tot stand komen (LVS-resultaten, pers. omstandigh.), en wat de Eindtoets (die van het Cito dus) test (intelligentie? is het een examen?)

@RedactieDP @vittoriobusato Zo’n analyse van advies en test heeft consequenties. Adviezen berusten mede op gestandaardiseerde tests van datzelfde Cito, in de mate waarin ze die gebruiken gaan adviezen dus al dubbelop met de Eindtoets. Dat is een tikje bizar, we moeten met de data extra voorzichtig zijn!

@RedactieDP @vittoriobusato Ik noem de Eindtoets een test, en dat is niet een vergissing, zie mijn 1986 ‘Toetsen en testen in het onderwijs’ benwilbrink.nl/publicaties/86… Dat stuk heeft in zekere zin een vervolg gekregen in het hoofdstuk Toetsen van de Cotan ‘Richtlijnen’ 1988. Jawel, er zijn NL richtlijnen!

@RedactieDP @vittoriobusato Fig 3 brengt goed in beeld dat eenmaal vwo, altijd vwo, voor wel heel veel leerlingen geldt. Idem de beide andere categorieën. En natuurlijk, niets is hier onafhankelijk van de rest (waar zijn trouwens de zittenblijvers?). Dit stelsel bevestigt zichzelf, is dat vanzelfsprekend?

@RedactieDP @vittoriobusato Kennen we dit niet van Bourdieu: een stelsel dat bestaande ongelijkheid bevestigt? Laat ik het anders zeggen: iedereen in dat is expliciet of impliciet op de hoogte van adviezen en tests van de leerlingen, vooral ook zijzelf. Is het wel mogelijk in zo”n situatie zinvolle

@RedactieDP @vittoriobusato analyses van voorspellende validiteit te maken? Ik zou denken van niet, en wie daar anders over denkt zal dat moeten onderbouwen. Leuk, die figuur 3, maar het zegt niets over wat er kan gebeuren bij een experiment met een cohort leerlingen met gemanipuleerde adviezen/testscores.

@RedactieDP @vittoriobusato Is dat laatste een bizarre gedachte? Ja, zo’n experiment kan niet door de ethische beugel. Maar in de werkelijke wereld zou het soms kunnen gebeuren. In de VS is ooit een groot cohort recruten door een fout in de testrapportage terechtgekomen in opleidingen waar ze anders niet

@RedactieDP @vittoriobusato zouden zijn geplaatst. Niemand had iets in de gaten. Ook in hun latere leven hadden zij nog steeds profijt van die testscores die in hun voordeel uitvielen. (Sticht, Armstrong, Hickey & Caylor 1987 ‘Cast-off youth. Policy and training methods from the military experience’)

@RedactieDP @vittoriobusato Leuk, zo’n anecdote, maar terug naar de probleemstelling. Als het zo is dat de data waar de auteurs mee werken niet geschikt zijn om voorspellende validiteit van adviezen/tests te analyseren, dan kunnen we misschien niets zinnigs zeggen over ander beleid bij de overgang bo-vo.

@RedactieDP @vittoriobusato Ik moet bij herhaling denken aan wat Wim Hofstee in zijn inaugurele rede in Groningen, 50 jaar geleden, zei over compenserende mechanismen in het onderwijs. Maak toegangsselectie strenger, dan heeft dat even effect, maar in korte tijd herstelt zich ongeveer het oude evenwicht.

@RedactieDP @vittoriobusato Met andere woorden: het heeft geen zin om te sleutelen aan de selectie-aan-de-poort van de diverse typen onderwijs in het vo, zonder enig idee van de dynamiek (of juist het gebrek eraan) in de diverse vo-trajecten.

@RedactieDP @vittoriobusato De lezer had toch van Lek en Van de Schoot mogen verwachten dat er iets verstandigs te zeggen valt, aan de hand van de beschikbare studieloopbaangegevens, over de ongetwijfeld aanwezige barrière voor opstroom van vmbo naar havo. Of een voorafgaande analyse en misschien simulatie

@RedactieDP @vittoriobusato van studieloopbanen van groep 8 naar het derde jaar in het vo in een stelsel dat ideale mogelijkheden biedt voor opstroom en afstroom. Dan is er een benchmark waarmee de barre werkelijkheid zich laat vergelijken. Een andere benchmark: helemaal geen differentiatie in vo onderbouw.

@RedactieDP @vittoriobusato Waar we bij dat laatste aan kunnen denken is bijv. het onderwijs zoals een aantal scholen in Londen dat realiseren, o.a. Michaela. Het gaat er niet om dat model in Nederland te realiseren (zou wel fantastisch zijn, trouwens), maar om het theoretisch contrast met ons stelsel.

@RedactieDP @vittoriobusato Oké, ik stop hier. De thematiek speelt al sinds de HBS mocht gaan selecteren aan de poort (ca 1873) (wat geen gunstig effect had op zittenblijven/afstromen in 1e jaar). Er is dus wat onderzoekliteratuur over. Voor de liefhebbers: benwilbrink.nl/projecten/over…

@RedactieDP @vittoriobusato unroll @threadreaderapp