‘Petra moest er dit jaar hard aan trekken. Ik zie het niet gebeuren dat die vijf volgend jaar een voldoende wordt. Wat mij betreft doet ze een jaartje over’.
Tientallen overgangsvergaderingen zat ik de afgelopen jaren voor. En bij dit soort uitspraken kreeg ik vaak een knoop in mijn maag. Natuurlijk wil ik uitgaan van de kennis, kunde en intuïtie van mijn collega. Maar tegelijkertijd is het nogal wat om zo stellig de toekomstige ontwikkeling van een leerling te voorspellen. In een jaar kan er veel gebeuren, zeker bij pubers! De gemiddelde psycholoog brandt zich niet aan zo’n voorspelling, maar in het onderwijs doen we het jaarlijks…
We leunen sterk op cijfers bij leerlingbesprekingen. Als docent moet je dan zeker van je zaak zijn: zijn de cijfers een betrouwbare weergave van de prestaties van de leerling? Voor ongefundeerde uitspraken kan er op zo’n belangrijk moment geen plaats zijn. Wanneer je cijfers ook nog eens wilt gebruiken bij het doen van een voorspelling over toekomstige ontwikkelingsmogelijkheden moet je extra uitkijken. Want wat is de voorspellende waarde van dat cijfer? Oftewel: hoe groot is de kans dat een vijf volgend jaar ook een vijf blijft?
Hoe bereken je de voorspellende waarde van schoolcijfers? Hoe interpreteer je de resultaten en wat doe je met deze bevindingen? In dit blog onderzoek ik dat. Dat doe ik aan de hand van de eindcijfers van meer dan 200 leerlingen. Zo ontdek ik of die knoop in mijn maag terecht is of niet. Ook laat ik je direct zien hoe je dit eenvoudig zelf voor jouw school kan doen.
Theoretische kader
Al in 1964 deed lector pedagogie Pieter van de Griend onderzoek naar de voorspellende waarde van cijfers. Zijn methode was simpel: de eindrapportcijfers in de eerste klas werden vergeleken met die van dezelfde vakken in de tweede klas. Zijn bevindingen waren helder: de samenhang van cijfers is gering. Generatiegenoot Adriaan de Groot kwam op basis van de resultaten tot de volgende conclusie: “uit een slecht (of goed) cijfer volgt beslist niet, dat ‘deze leerling volgend jaar niet (of wel) zal meekunnen.’ De bevindingen werpen een bedenkelijk licht op de betekenis die bij belangrijke beslissingen aan schoolcijfers wordt toegekend.”[1]
Bijna zestig jaar later heb ik dezelfde bedenkingen en gebruik ik de aanpak van Van de Griend als basis voor mijn eigen onderzoek. Ik kies voor een afgeslankte onderzoeksopzet. Ook beperk ik me tot het analyseren van drie kernvakken: Nederlands, Engels en wiskunde en gebruik daarbij de cijfers van het eerste, tweede en derde leerjaar van een Havo/VWO school.
Om de voorspellende waarde van schoolcijfers te berekenen, werk ik met correlatiecoëfficiënt. Dit is een statistische meetwaarde waarbij twee reeksen cijfers met elkaar vergeleken worden. Het resultaat is een score tussen de -1 en +1, waarbij geldt dat de hoogte van de score de mate van samenhang weerspiegelt, dat dus de voorspellende waarde aangeeft.
Geïnspireerd door het onderzoek van Van de Griend kom ik tot drie vragen die ik in dit blog wil beantwoorden:
- Hoe groot is de samenhang tussen cijfers voor hetzelfde schoolvak?
- Is de samenhang tussen cijfers groter of kleiner bij leerlingen die in de bespreekzone zitten?
- Hoe groot is de verandering in de verdeling van onvoldoende scorende vs. voldoende scorende leerlingen?
Hoe groot is de samenhang tussen cijfers voor hetzelfde schoolvak?
Allereerst keek ik naar de samenhang van schoolcijfers voor een specifiek vak in opeenvolgende leerjaren: leerjaar 1-2 en leerjaar 2-3. In tabel 1 zijn de resultaten te zien. Zichtbaar is dat de correlatie van de cijfers tussen het brugjaar en de tweede klas groter is dan die tussen leerjaar 2 en 3. Over de hele linie gezien, is de sterkte van de samenhang niet groot.
Tabel 1: Onderzoeksontwerp met daarin de vier condities
| Schoolvak | Correlatie lj 1-2 | Sterkte | Correlatie lj 2-3 | Sterkte |
|---|---|---|---|---|
| Nederlands | 0,57 | middelmatig | 0,33 | zwak |
| Engels | 0,64 | middelmatig | 0,44 | zwak |
| Wiskunde | 0,58 | middelmatig | 0,34 | zwak |
Is de samenhang tussen cijfers groter of kleiner bij leerlingen die in de bespreekzone zitten?
Waar ik vooral benieuwd naar ben is hoe sterk de samenhang van cijfers is bij leerlingen die in de bespreekzone zitten. Naar deze groep gaat immers bij overgangsvergaderingen de meeste aandacht uit. Hoe groot is de kans dat die onvoldoende volgend jaar een onvoldoende blijft? Om die vraag te beantwoorden, nam ik eerst de leerlingen die lager scoren dan een 6 apart. Daarna berekende ik voor deze selectie per vak de correlatie. In tabel 2 zie je de resultaten.
Tabel 2: Onderzoeksontwerp met daarin de vier condities
| Schoolvak | Correlatie lj 1-2 | Sterkte | Correlatie lj 2-3 | Sterkte |
|---|---|---|---|---|
| Nederlands | 0,05 | geen | -0,24 | geen |
| Engels | 0,59 | middelmatig | -0,31 | zwak |
| Wiskunde | 0,46 | zwak | -0,11 | geen |
Over de hele linie is de samenhang overwegend zwak. Wat opvalt is dat de samenhang tussen cijfers van het tweede en derde leerjaar negatief is. Dat betekent dat hoe zwakker een leerling in deze groep scoorde eind leerjaar 2, hoe beter hij het deed eind leerjaar 3. Ik moet wel een kanttekening bij deze resultaten plaatsen: vanwege de kleine subgroep is de betrouwbaarheid van deze resultaten beperkt. Vandaar dat ik je bij het beantwoorden van de derde vraag een alternatieve aanpak laat zien.
Hoe groot is de verandering in de verdeling van onvoldoende scorende vs. voldoende scorende leerlingen?
In hoeverre heeft een onvoldoende in het ene jaar een voorspellende waarde voor de prestatie in het volgende jaar? Naast het berekenen van de correlatiecoëfficiënt is er nog een makkelijke manier om dat te onderzoeken. Hiervoor merkte ik eerst alle rapportcijfers onder een 6 aan als ‘onvoldoende’. Daarna keek ik per leerling of in het daaropvolgende jaar de onvoldoende wel of niet veranderde in een voldoende. De resultaten van deze analyse zie je in tabel 3.
Tabel 3: Onderzoeksontwerp met daarin de vier condities
| Schoolvak | Aantal leerlingen met een onvoldoende eind leerjaar 1 | Hoeveel van deze leerlingen staan er eind leerjaar 2 nog steeds onvoldoende? |
|---|---|---|
| Nederlands | 9 | 4 |
| Engels | 8 | 4 |
| Wiskunde | 27 | 8 |
| Aantal leerlingen met een onvoldoende eind leerjaar 2 | Hoeveel van deze leerlingen staan er eind leerjaar 3 nog steeds onvoldoende? | |
| Nederlands | 14 | 2 |
| Engels | 22 | 6 |
| Wiskunde | 27 | 15 |
Wat opvalt is dat in het meest positieve geval 85% van de leerlingen na een jaar gelukt is om een onvoldoende om te buigen in een voldoende! De stabiliteit van onvoldoendes is over het algemeen dan ook niet al te groot. Is een onvoldoende een reden om te blijven zitten, als de kans behoorlijk is dat iemand dat het jaar erop weet weg te werken?
Conclusie
Terug naar Petra. Wat is de uitspraak van mijn collega waard wanneer de voorspellende waarde van het cijfer matig is? Moeten we dit soort vragen nog wel willen stellen? De conclusie van Adriaan de Groot staat, op basis van deze steekproef, zestig jaar later nog als een huis.
Oké, de generaliseerbaarheid van mijn onderzoek is natuurlijk beperkt. Ik moedig je dan ook aan om binnen jouw school zelf een onderzoek te starten. Maar toch, het gaat hier om échte cijfers van échte leerlingen.
Je kunt niet anders dan zeggen dat je met voorspellingen erg voorzichtig moet zijn. Als collega’s dit wel doen, spreek ze hier dan tijdens de vergadering op aan. Uit onderzoek blijkt dat sociale beïnvloeding tot een soort kuddegedrag leidt wat de wijsheid van de groep ondermijnt.[2] Die ene, ongefundeerde uitspraak kan tot een domino-effect leiden en de ondergang van de leerling inluiden. Het risico bestaat dat kansarme en kwetsbare leerlingen hier vaker de dupe van worden[3]. Dit alles is pedagogisch onaanvaardbaar.
Het uitgangspunt van iedere zwaarwegende beslissing is dat deze eerlijk, transparant en acceptabel moet zijn. Ongefundeerde uitspraken op basis van resultaten van leerlingen zijn niet eerlijk.
Wat je wel kan doen? De belangrijkste stap is accepteren dat cijfers minder betrouwbaar en objectief zijn dan we vaak denken. Natuurlijk heeft het zin om te investeren in de kwaliteit van je toetsing en het realiseren van een goede doorlopende leerlijn. Ook is het winst wanneer je samen afspreekt wat je wel en niet in cijfers verwerkt. Beoordeel je zaken als gedrag en werkhouding met een cijfer (link)? Hoe ga je om met spieken of het missen van een deadline? (link). Onderaan de streep is het echter cruciaal dat je bij iedere uitspraak over een leerling afvraagt: wat weet ik nu écht?
Zelf aan de slag?
Het berekenen van een correlatiecoëfficiënt is niet moeilijk. Het interpreteren van de resultaten vereist echter wel enige statistische kennis (P-waarde, steekproefgrootte etc). Trek niet te snel conclusies op basis van je resultaten.
Stap 1. Creëer je dataset
Download de cijferlijsten van dezelfde groep leerlingen in twee opeenvolgende leerjaren. Voeg de beide lijsten in één sheet en plaats ze naast elkaar. Houd de berekening zo zuiver mogelijk: verwijder doublanten en uitgestroomde leerlingen.
Stap 2. Bereken de correlatiecoëfficiënt
Als invoer gebruik je de volledige cijferlijst van de beide leerjaren. Rangschik hierna de leerlingen op resultaten in het eerste jaar. Nu kan je eenvoudig de leerlingen in de bespreekzone selecteren om voor deze specifieke groep de correlatie nogmaals te berekenen.De correlatiecoëfficiënt bereken je met de functie CORREL in Excel.
Stap 3. Onderzoek de verdeling van onvoldoendes
Wanneer je de leerlingen rangschikt op basis van de resultaten in het eerste jaar kan je voor deze groep direct zien wat het resultaat in het tweede jaar is. Zo kan je op het oog beoordelen hoeveel leerlingen het lukt om een onvoldoende in het eerste jaar om te buigen in een voldoende.
Bronnenlijst
De Groot, A. (1966). Vijven en Zessen. Wolters-Noordhoff.
Kahneman, D. (2021). Ruis. Amsterdam: Nieuw Amsterdam
Sleenhof, J. P, Thurlings, M. C., Koopman, M., & Beijaard, D. (2022). The role of structure and interaction in teachers’ decision making during allocation meetings Teaching and Teacher Education, 33(33), 332-354.
Noten
