Deze blog is deel drie in een serie:
Deel 1: een transparant en eerlijk determinatiebeleid als wapen tegen ongelijkheid
Deel 2: Een doelgerichte dataverzameling voor zwaarwegende beslissingen
Deel 4: De leerlingbespreking: het benutten van de wijsheid van de groep
Wanneer je aan vijf chef-koks een identieke set ingrediënten en specerijen geeft en ze vraagt een gerecht te koken is de kans groot dat je vijf heel verschillende maaltijden voorgeschoteld krijgt. Iedere kok geeft een eigen twist aan een gerecht op basis van zijn eigen stijl, voorkeur, expertise en ervaring.
Ook voor een groep docenten geldt dat ze vanuit een identieke set aan data tot verschillende interpretaties en beslissingen zullen komen. Analoog aan het voorbeeld van de koks valt dit gegeven toe te schrijven aan de eigen (vaak jarenlange) ervaring en expertise maar aan overtuigingen over bijvoorbeeld een goede leerling. Anders dan bij de chef-koks geldt dat we in het onderwijs een te grote variatie in uitkomsten op basis van dezelfde data niet beschouwen als een teken van creativiteit. Sterker nog: het voelt heel oneerlijk als een besluit afhankelijk is van een docent. Ook hier horen wij de stem van hoogleraar toegepaste psychologie Adriaan De Groot terug: ook hij benoemde de subjectiviteit van een docent waar vooral leerlingen de dupe van kunnen worden.
Hoewel we subjectiviteit in beoordelingsprocessen moeilijk accepteren, kunnen we er ook niet omheen. Beoordelen en beslissen in het onderwijs is en zal nu eenmaal mensenwerk blijven. Het maakt daarmee de derde kritische fase in het determinatieproces wel het meest interessant als het gaat om eerlijke kansen. Wat is ervoor nodig om, met de mens als beoordelaar, toch tot een zo eerlijk, transparant en acceptabel mogelijke prognose te komen?
Nu is er ontstellend veel onderzoek naar de wijze waarop mensen data interpreteren en deze verwerken tot informatie. Zo valt er alleen al over iets als beoordelaarseffecten bij toetsing een hele blog te schrijven. Vanwege de specifieke focus van deze blogserie op determinatie en kansengelijkheid hebben we ons echter laten inspireren door onderzoek van Bertrand en Marsh uit 2005. De reden hiervoor is dat zij niet alleen kijken naar de wijze waarop docenten data vertalen naar informatie, maar ook hoe ze die informatie proberen te verklaren én vertalen naar vervolgacties. Daarbij hebben ze specifiek gekeken naar de impact van dit proces op gelijke, dan wel eerlijke kansen voor kwetsbare leerlingen.
Het theoretische kader van Betrand en Marsh gebruiken we dan ook als leidraad voor deze blog. Daarbij onderzoeken we eerst hoe je als docent data vertaalt naar bruikbare informatie en kennis, en welke factoren daarbij van invloed zijn. We nemen daarbij Figuur 1 als uitgangspunt.[1]
Het verwerken van ruwe data tot kennis en informatie
De kern van het proces waarbij docenten betekenis geven aan resultaten van en over leerlingen bestaat uit twee onderdelen: (1) de verwerking van de ruwe data en (2) de attributie van de uitkomsten. Het verwerken van de data is nodig omdat de verzamelde cijfers en gegevens op zichzelf nietszeggend zijn. Ze krijgen pas betekenis binnen een context en door ze te interpreteren. Dit proces is in figuur 1 in de witte cirkel visueel weergegeven. Het gaat om een proces waarin je in drie stappen data omzet naar informatie en kennis.[2] Data wordt informatie wanneer je het in een context plaatst en zoekt naar trends (‘deze leerling scoort minder dan zijn klasgenoten’) en informatie wordt kennis wanneer je deze aanvult met ervaring, vaardigheid en houding (‘het is belangrijk dat ik deze leerling de komende periode meer uitleg ga geven over het onderwerp breuken’).
Op zoek naar een verklaring voor de informatie: attribueren
De tweede stap in het proces van interpretatie bestaat uit het op zoek gaan naar een verklaring voor de bewuste informatie. Wat is de reden dat de leerling zo goed of juist zo zwak heeft gescoord? Is hij vaak ziek of afwezig geweest? Of was er gedurende enkele maanden geen docent om de klas les te geven? Het toeschrijven van verklaringen aan een bepaald resultaat noem je attribueren en wordt in figuur 1 weergegeven. Het uitwerken van mogelijke verklaringen vormt een belangrijke bouwsteen bij de onderbouwing van je besluit.
De attributietheorie van Fritz Heider vertelt iets over de wijze waarop mensen het gedrag van zichzelf en van anderen verklaren. Attributie is onder te verdelen in twee typen: extern en intern. Bij interne attributie zoek je de oorzaak bij jezelf ( ‘ik had deze leerling echt meer aandacht moeten geven), bij extern zoek je de verklaring juist bij de ander (‘met deze houding is het logisch dat je een onvoldoende haalt’).
De verklaring die een docent benoemt voor het resultaat van de leerling heeft gevolgen voor de beleving van de eigen verantwoordelijkheid en voor de verwachting van toekomstige taken. Wanneer een docent de verklaring voor een zwak cijfer van een leerling bij zichzelf legt (intern: ‘ik heb dit jaar veel matige lessen gegeven wat een negatieve weerslag heeft op het groepsgemiddelde’) zal hij extra gedreven zijn om dat volgende keer anders te doen! Die kans is kleiner wanneer de docent vooral de oorzaak ziet in het gedrag of de werkhouding van de leerling (extern: ‘deze leerling was niet vooruit te branden’): in mijn eentje ga ik daar toch niets aan veranderen!
De wijze waarop je als docent attribueert is sterk afhankelijk is van je eigen overtuigingen, opvattingen en eerdere ervaringen. Daardoor ligt subjectiviteit op de loer.
De kracht én zwakte van versimpelingstechnieken
We zoomen wat verder in op de invloed van die eigen overtuigingen, opvattingen en eerdere ervaringen op het interpretatieproces, in figuur 1 zichtbaar in het linkerovaal. Hier komen mentale modellen om de hoek kijken: ze vormen de lens waardoor je naar de wereld kijkt en zijn opgebouwd vanuit ervaringen uit het verleden. Die ervaring bestaat bijvoorbeeld uit een reeks van eerdere momenten waarin je data hebt moeten interpreteren om tot een onderbouwde leerlingprognose te komen. Maar ook kan het gaan om positieve of negatieve ervaringen met bepaalde groepen leerlingen. Tijdens dit soort processen, die gedurende langere tijd opgebouwd worden, ontwikkel je mentale strategieën die je kan gebruiken om complexe vraagstukken te vereenvoudigen.
Deze versimpelingstechnieken, ook wel heuristieken genoemd, zijn over algemeen heel nuttig; vaak leveren ze adequate antwoorden op en zijn ze zeer efficiënt in het besparen van mentale energie.[3] Helaas zijn ze niet altijd even betrouwbaar.[4] In de vereenvoudiging van complexe vraagstukken ontstaat namelijk het risico op overhaaste generalisatie. Je doet dan een algemene uitspraak op basis van een beperkt aantal, meestal anekdotische bewijzen, en het gevaar bestaat dat je alternatieve verklaringen over het hoofd ziet of zelfs negeert. Wanneer je bijvoorbeeld een paar keer hebt ervaren dat leerlingen met rood haar vaak te laat komen in jouw klas kan dit leiden tot een overhaaste overtuiging als: “Alle roodharigen zijn slecht in klokkijken’. Generalisatie ontstaat niet alleen op basis van eigen ervaringen, maar kan ook overgedragen worden binnen een (school) cultuur. Denk bijvoorbeeld aan het hardnekkige idee dat meisjes minder goed zijn in techniek of wiskunde. Een generalisatie is zelden (niet nooit!) iets goeds omdat het kan leiden tot bias: systematische en voorspelbare beoordelingsfouten.[5]
Attribueren en de invloed op gelijke kansen
Bertrand en Marsh vroegen zich af welke invloed generalisaties hebben op de wijze waarop docenten betekenis geven aan data en attribueren. Daarbij keken ze specifiek naar de impact op kwetsbare leerlingen, in dit geval leerlingen met een specifieke ondersteuningsbehoefte en tweede-talers. Ze ontdekten dat docenten prestaties van de leerling gelukkig meestal intern attribueren (‘ik heb als docent een steek laten vallen’). maar dit ook nog vaak extern doen (de leerling heeft niet hard genoeg zijn best gedaan’). Problematisch is dat ze veel voorbeelden vonden waarbij de oorzaak door docenten gezocht werd in stabiele persoonlijkheidskenmerken als afkomst, intelligentie, achtergrond of indicatie. Bij de totstandkoming van dit soort denkbeelden kunnen vooroordelen en bias een rol spelen. Het gaat dan om factoren als sociale klasse, achtergrond en gender.[6] Het gevolg is dat leerlingen en hun prestaties niet meer als opzichzelfstaand werden beschouwd, maar verklaard vanuit algemene clichébeelden over de groep waarin hij/zij is toebedeeld.[7]
De kans is groot dat je dit soort externe attributies met verwijzingen naar kenmerken van de persoon ook bij een overgangsvergadering wel eens voorbij hebt horen komen, denk aan voorbeelden als: ‘ik ben niet verrast door deze lage resultaten van leerling A, zijn ouders spreken de Nederlands taal maar zwak en kunnen hem weinig supporten’ of ‘zijn vader / moeder / broer / zus heb ik zelf vroeger nog lesgegeven en dat was ook geen helder licht, als je uit zo’n nest komt valt er ook weinig eer te behalen’. Vooroordelen over leerlingen met een bepaalde sociaal-emotionele of culturele achtergrond kunnen zo een rol spelen in de besluitvorming.
Zoals we al eerder schreven heeft deze wijze van attribueren impact op het verantwoordelijkheidsgevoel van de docent en op diens verwachtingen aangaande toekomstige prestaties van de leerling. Met het verschuiven van de verantwoordelijkheid naar de leerling ontstaat het risico dat alternatieve verklaringen snel opzijgelegd of niet eens onderzocht worden. Is het echt zo dat de thuissituatie deze leerling de das om heeft gedaan of is het niet een bewijs van formaat dat hij juist ondanks het gebrek aan support zo goed heeft gepresteerd? De docent zal zijn verwachtingen ook negatief bijstellen. Immers, als bijvoorbeeld de thuissituatie volgens de docent nu al bepalend is geweest voor de verrichtingen van de leerling dan zal dat vast niet zo snel veranderen. Zo kleurt deze denkwijze ook de voorspelling over de kansen en het potentieel in het komende jaar.
Conclusie en handvatten
Het theoretische kader van Betrand en Marsh maakt inzichtelijk dat het proces waarbij docenten betekenis geven aan data beïnvloed wordt door een grote verscheidenheid aan factoren. Persoonlijke opvattingen, ervaringen en overtuigingen spelen daarbij een cruciale rol. Dat hoeft geen probleem te zijn: mentale modellen kunnen helpen om in complexe situaties snel een beslissing te nemen en dat gaat vaak goed. Maar versimpelingstechnieken kunnen ook leiden tot vooroordelen en bias. Het aanpakken van deze risico’s is zeker geen sinecure. Ons denken is feilbaar en we zijn evolutionair geprogrammeerd om te leunen op heuristieken en mentale modellen. Het vraagt een grote verantwoordelijkheid en betrokkenheid van docenten(teams) om de risico’s op bias zo veel mogelijk te minimaliseren. Het onder ogen zien van je eigen vooroordelen is een kwetsbaar proces wat vraagt om een open en veilig klimaat. Wat kan je dan wel doen om binnen je school hiermee aan de slag te gaan? We geven enkele samenvattende tips:
- Vergroot het bewustzijn rondom je eigen biases. Leer om te vertragen in je besluitvorming, juist wanneer je ervan overtuigd bent dat je gelijk hebt. Probeer in dit proces je emoties te beheersen omdat juist die tot een vertroebelde blik kunnen leiden.
- Durf fouten te maken en stel je kwetsbaar op. Data interpreteren naar betekenisvolle informatie die geschikt is voor een zorgvuldige beslissing is nu eenmaal ingewikkeld!
- Zoek naar tegenstrijdige informatie die je eigen denken en overtuiging weerspreekt. Informatie die je gelijk aantoont zal je altijd wel vinden maar de uitdaging is juist om het tegenovergestelde te doen. Zoek informatie vanuit meerdere bronnen en invalshoeken.
- Investeer als team in het herkennen van opmerkingen vanuit een externe en stabiele locus en spreek elkaar daar op aan of stel er vragen over. Accepteer dit soort uitspraken niet als verklaring maar probeer ook hier telkens te checken waar dit soort opmerkingen op gebaseerd zijn en ga actief op zoek naar alternatieve verklaringen.
- Zorg altijd voor een goede balans tussen je eigen intuïtie én ondersteunende data, laat deze hand in hand gaan en voorkom dat één van de twee te veel de bovenhand voert.[8]
In de volgende en tevens laatste blog van deze serie komt de laatste fase van een determinatieproces aan bod: het komen tot een overgangsbesluit. Hoe kun je daarbij de wijsheid van al je docenten benutten?
Literatuurlijst
Bazerman, M., & Tenbrunsel, A. (2011). Blind spots. Why we fail to so what’s right and what to do about it. Princeton and Oxford: Princeton University Press.
Bertrand, M., & Marsh, J. A. (2015). Teachers’ sensemaking of data and implications for equity. American Educational Research Journal, 52(5), 861–893.
De Boer, H., Bosker, R. J., & Van Der Werf, M. P. C. (2010). Sustainability of teacher expectation bias effects on long-term student performance. Journal of Educational Psychology, 102(1), 168–179.
Kahneman, D., & Frederick, S. (2005). A model of heuristic judgement. In J. H. Keith, & R. G. Morrison (Eds.), Cambridge handbook of thinking and reasoning (pp.267–293). Cambridge: Cambridge University Press.
Kahneman, D., & Klein, B. M. (2009). Conditions for intuitive expertise. A failure to disagree. American Psychologist, 64, 515-526.
Mandinach, E. B. (2012). A perfect time for data use: Using data-driven decision mak- ing to inform practice. Educational Psychologist, 47(2), 71–85.
Vanlommel, K., Van Gasse, R., Vanhoof, J., & Van Petegem, P. (2018). Teachers high-stakes decision making. How teaching approaches affect rational and intuitive data collection. Teaching and Teacher Education, 71, 108–119.
Noten
- Gebaseerd op het theoretisch kader van Melanie Bertrand en Julie Marsh (2005) ↑
- (Mandinach, 2012) ↑
- (Kahneman & Frederick, 2011) ↑
- (Bazerman & Tenbrunsel, 2011) ↑
- (Kahneman & Frederick, 2011) ↑
- (De Boer et al., 2010; Vanlommel et al, 2019) ↑
- (Bertrand & Marsh, 2005) ↑
- (Vanlommel et al, 2018) ↑
Authors
-
Arjen Nanninga is onderwijskundige en heeft jarenlange ervaring als schoolleider in het PO en VO. Hij is bestuurder van Toetsrevolutie en verzorgt adviestrajecten rondom determinatie-beleid in het voortgezet onderwijs.
Bekijk Berichten -
Dominique Sluijsmans is onderwijskundige met een specialisatie op het gebied van toetsing. Ze schreef diverse succesvolle en invloedrijke boeken zoals Wijze Lessen en Toetsrevolutie.
Bekijk Berichten