Deze blog is deel twee in een serie:
Deel 1: een transparant en eerlijk determinatiebeleid als wapen tegen ongelijkheid
Deel 3: De complexe en kwetsbare route naar een transparant, eerlijk en acceptabel besluit
Deel 4: De leerlingbespreking: het benutten van de wijsheid van de groep
Een uitspraak als ‘Dit is een echte havo-leerling’ zal je bij iedere leerlingbespreking, rapportvergadering of overgangsvergadering wel eens horen. Uitspraken als deze doen vermoeden dat we in Nederland een heel helder beeld hebben wat een vmbo-, of havo- of vwo-leerling precies typeert. Dat weten sommige docenten schijnbaar zelfs zo goed dat ze een dergelijke uitspraak soms al na enkele onderwijsweken durven te doen. Dit is een interessante en tegelijkertijd zorgelijke observatie. We weten immers uit onderzoek waarbij toetsscores van leerlingen met elkaar worden vergeleken, dat er een grote overlap bestaat tussen de scores van leerlingen in verschillende onderwijsniveaus. De best presterende vmbo-leerlingen doen niet onder voor de zwakst presterende vwo-leerlingen.[1] Naast beelden over de cognitieve capaciteiten van leerlingen, bestaan er ook opvattingen over andere leerlingkenmerken. Voorbeelden zijn uitspraken over de houding van leerlingen (‘De werkhouding van deze leerling is onder de maat’) of andere kenmerken (‘Deze leerling heeft beperkt inzicht’).
In onze eerste blog hebben we geduid waarom een zo eerlijk, transparant en kansrijk mogelijk determinatiebeleid belangrijk is. We benadrukten ook hoe we onnodige subjectiviteit in het besluitvormingsproces, die met name kansarme en kwetsbare leerlingen kan duperen, moeten zien te voorkomen. Voor een goed determinatiebeleid is het daarom van belang om te achterhalen welke kennis, opvattingen en overtuigingen ten grondslag liggen aan bovenstaande uitspraken over leerlingen en welke invloed deze vervolgens hebben bij het nemen van zwaarwegende beslissingen.
In deze tweede blog richten we ons op de eerste twee belangrijke fasen van een besluitvormingsproces: 1) het proces van kalibratie van verwachte prestaties en capaciteiten en 2) het proces van doelgerichte dataverzameling. Voor het inrichten van beide fasen bieden we een aantal praktische handvatten. Voordat we dat doen, geven we wat meer duiding aan het besluitvormingsproces in het algemeen.
Zwaarwegende, determinerende beslissingen vragen om balans tussen intuïtieve en rationele overwegingen van docenten
Menselijke besluitvorming is een samenspel van intuïtieve en rationele processen, waarbij beide processen hun sterke en zwakke punten kennen. Intuïtieve beslissingen neem je als docent dagelijks: je ziet een leerling bepaald gedrag vertonen en besluit daar op basis van je eigen ervaring, overtuigingen of ideeën iets van te vinden of mee te doen. Het afgaan op je eigen intuïtie is hiermee een belangrijke en waardevolle handeling die je in staat stelt om snel te beoordelen wat er speelt en de aandacht te focussen op iets wat relevant is in de specifieke context. Bij rationele beslissingen zit dat anders, deze zijn veelal gebaseerd op vooraf gestelde doelen en criteria.
Het proces van intuïtieve en rationele processen heeft dr. Kristin Vanlommel, lector Organiseren van Verandering in Onderwijs aan de Hogeschool Utrecht, onderzocht in de context van het schooladvies in het basisonderwijs. Op basis daarvan heeft zij een geïntegreerd model uitgewerkt dat ook zeer bruikbaar is voor het determinatieproces (zie figuur 1).
Voor zwaarwegende beslissingen over een leerling, zoals een determinatiebesluit (Kan een leerling naar het volgende leerjaar?), zijn intuïtieve besluiten nooit afdoende. Omdat iedere docent persoonlijke criteria hanteert kan dat de validiteit van een besluit verzwakken. Ook is het onvoldoende om te leunen op spontane momenten van herkenning. Om tot een passende prognose te komen wil je op een systematische en structurele wijze op zoek naar de informatie die je nodig hebt. Hiervoor zijn toetsen en observaties nodig. Met collega’s maken docenten collectieve afspraken over de criteria en standaarden die worden gehanteerd bij het interpreteren van de informatie, bijvoorbeeld de beoordelingsmodellen. Deze manier van werken leidt tot rationele en gedeelde besluitvorming. We bespreken later in deze blog hoe deze doelgerichte en rationale dataverzameling er uit kan zien.
Intuïtieve en rationele beslissingen moeten met elkaar in balans zijn om tot professionele beslissingen (i.e. een determinatiebesluit) te komen. Tot een dergelijk besluit kom je niet vanzelf. De eerste stappen om daar te komen zijn het construeren van een helder beeld van de verwachte prestaties en capaciteiten van leerlingen en het inrichten van een daarbij passend proces van dataverzameling. We zullen deze twee stappen (c.q. fasen) achtereenvolgens bespreken.
1. Een helder beeld van verwachte prestaties en capaciteiten: het proces van kalibratie
Determinerende beslissingen als uitkomst van een beoordelingsproces dienen valide beslissingen te zijn. Dat wil zeggen: de beslissing doet recht aan wat een leerling in al diens rijkheid kan in relatie tot de verwachte prestaties en capaciteiten. Helderheid over deze prestaties en capaciteiten is voorwaardelijk voor een eerlijk, transparant en kansrijk determinatiebeleid. Voor het vmbo betekent dat bijvoorbeeld helderheid over het niveau voor de theoretische leerweg (TL).
Zolang er geen gedeeld beeld is binnen een docententeam over verwachte capaciteiten van leerlingen op een bepaald niveau, en dat noemen we in toetstermen het ‘construct’, wordt het moeilijk om een zorgvuldig determinatieproces in te richten. Dit beeld is nodig als vertrekpunt voor het het kunnen duiden van data, maar ontbreekt helaas vaak.[2] Ook zijn deze beelden vaak gebaseerd op overtuigingen, meningen en/of ervaringen binnen een specifieke schoolcontext. Beslissingen zijn zodoende regelmatig minder rationeel en onderbouwd dan nodig is voor een eerlijk, transparant en acceptabel determinatiebesluit. Het is dus van groot belang te werken aan een gedeeld kwaliteitsbesef over verwachte prestaties van leerlingen rondom de interpretatie van de gegevens. Om de validiteit en daarmee meteen ook de betrouwbaarheid van determinerende beslissingen te verhogen zijn zogenaamde kalibratieprocessen met relevante actoren in en buiten de school wenselijk.
Kalibratie verwijst naar het vaststellen of ‘iets’ de juiste waarde meet. Vertaald naar een school betekent dit dat je nadenkt of de beslissingen die je neemt recht doen aan de capaciteiten van een leerling. In een kalibreersessie staat steeds de vraag centraal: Welke prestaties moet een leerling laten zien om te kunnen instromen in een bepaald profiel of niveau en welke capaciteiten (kennis, vaardigheden, houding) vraagt dat? Kalibreren voorkomt tevens dat zwaarwegende beslissingen te veel worden gebaseerd op individuele oordelen van docenten en verlaagt ook de kans op het optreden van beoordelaarseffecten. Zo kan kalibreren helpen tot een goede afstemming te komen tussen cognitieve, metacognitieve en attitude capaciteiten en verduidelijkt een kalibratiesessie de criteria en de gewenste standaarden in het beoordelings- en beslissingsmodel dat wordt gebruikt in bijvoorbeeld de overgangsvergadering.
Enkele handvatten voor het inrichten van een kalibratieproces kunnen zijn:
- Kijk naar welke profielen er op dit moment voorhanden zijn om capaciteiten van leerlingen in verschillende niveaus te duiden. Leg voorbeelden van profielen naast elkaar en onderzoek welke het meeste aansluit bij de eigen context en opvattingen en waarom dat zo is.
- Analyseer concrete voorbeelden van leerlingwerk en leerlinggedrag in jaar 2 en ga deze met elkaar vergelijken. Welke voorbeelden laten prestaties en capaciteiten zien die passen bij profiel en niveau x, y, of z en waarom? Welke aspecten zien, lezen en horen we en hoe kunnen we deze duiden in relatie tot beoogde prestaties en capaciteiten voor de profielen en niveaus in de bovenbouw?
- Definieer/selecteer een aantal exemplarische vragen/opdrachten die leerlingen binnen bepaalde vakgebieden zelfstandig zouden moeten kunnen beantwoorden of uitvoeren om een bepaald profiel of niveau ‘aan te kunnen’. Wat zijn de kenmerken van deze vragen en opdracht? Waaraan zie je bijvoorbeeld het verschil tussen tl-niveau en basis/kader?
- Kijk naar de huidige overgangsnormen. Geven deze voldoende houvast om iets over prestaties en capaciteiten te zeggen? Waarom wel, waarom niet? Is het bijvoorbeeld ‘logisch’ hoe eindcijfers worden berekend?
Kalibratieprocessen kunnen helpen bij het realiseren van een goede balans tussen intuïtieve en rationele beslissingen (het ‘gele’ en ‘groene’ deel in figuur 1). Wanneer docenten hun gevolgtrekkingen en de achterliggende criteria bespreken en elkaars aannames kritisch bevragen, vergroot dit de reproduceerbaarheid en transparantie van het besluit[3]. Door hier een gedeelde teamactiviteit van te maken versterk je de onderlinge betrokkenheid en gemeenschappelijke verantwoordelijkheid.
Samenvattend is het voor een determinatieproces zaak om als team een helder en gedeeld beeld uit te werken rondom de:
- Verwachte, kenmerkende prestaties: wat vinden we belangrijk dat een leerlingen zelfstandig kan uitvoeren? Hoe zien deze prestaties eruit?
- Verwachte capaciteiten (kennis, vaardigheden, houding) waarover een leerling moet beschikken om te kunnen instromen in een bepaald profiel en niveau (wat moet de leerling kennen en kunnen om de verwachte prestaties te kunnen leveren);
- Factoren die meegewogen worden in het besluit (waarop gaan we de leerling beoordelen, waarop niet?);
- Informatiebronnen die gebruikt gaan worden om een goed beeld van de leerling te verkrijgen (cognitief en non-cognitief).
Het proces van doelgerichte dataverzameling
Nadat je met je team helder hebt wat de verwachte doelen zijn die leerlingen op een bepaald niveau moeten bereiken en hoe beheersing daarvan uitziet in termen van prestaties en capaciteiten, heb je een goed fundament om te bepalen welk bewijsmateriaal (data) je nodig hebt om daarover een uitspraak te kunnen doen. Systematisch verzamelde data over leerlingen is niet alleen nodig om tot een rationeel besluit te komen maar ook om intuïtief verzamelde informatie aan te toetsen: klopt een toetsresultaat met wat ik vind, voel of heb gezien? Hoe ga ik daar mee om? Wie kan mij daarbij helpen in het belang van de leerling? De dataverzameling moet vooral ook doelgericht zijn, dat betekent dat het vooraf helder moet zijn waarnaar gekeken gaat worden en hoe het bewijsmateriaal verzameld gaat worden. Daarbij geldt een extra noodzaak om afspraken te maken over de structurele verzameling van niet-cognitieve elementen als motivatie en werkhouding.
Het verzamelen van data is de meest omvangrijke en ook complexe fase. Gedurende het schooljaar bouw je aan een structurele en rijke verzameling van cognitieve en niet-cognitieve gegevens die een valide inschatting van de capaciteiten van de leerling ondersteunen. Niet alles is echter even waardevol, laat staan bruikbaar. Het ontwikkelen van een doelgericht en gebalanceerd programma helpt je om je tijd en energie te steken in dataverzameling die je echt verder helpt bij het ontwikkelen van een betrouwbaar beeld van de capaciteiten (kennis, vaardigheden, houding) van de leerling. Hoe richt je dat proces in en wat zijn dan belangrijke aandachtspunten? We geven graag de vier van deze aandachtspunten mee.
a. Werk aan een goed opgebouwd en samenhangend toetsprogramma
Logischerwijs vormt een toetsprogramma de ruggengraat van je dataverzameling. Het neerzetten van een samenhangend en betrouwbaar toetsprogramma is echter geen sinecure, dit heeft te maken met de beperkingen die elke vorm van toetsing in zich heeft. Het is daarom zaak om samen een kwalitatief goed programma op te stellen waarin een bewuste en beargumenteerde combinatie van toetsvormen is opgenomen, passend bij de doelen en opbouw van het leerjaar. Over de inrichting van een goed toetsprogramma is door ons al ontzettend veel geschreven en dat zullen we hier niet helemaal herhalen. Wel is het goed om, vooral voor de inrichting van het summatieve proces, enkele kernprincipes als uitgangspunt te nemen:
- Verzamel voldoende datapunten
Eén toets is nooit voldoende voor het nemen van van een valide, zwaarwegende beslissing. Wanneer een student voldoende vragen juist heeft beantwoord op een toets, wordt bijvoorbeeld een 5.5 toegekend en wordt geconcludeerd dat de student voldoende kennis en/of vaardigheden heeft verworven. Het is echter bekend dat deze conclusie niet altijd terecht is. Cijfers ‘an sich’ zijn dan ook een onbetrouwbare maatstaf om het beheersingsniveau uit af te leiden.[4] Bij elke toets zijn er – mede door de selectie van vragen die in de toets worden gesteld, maar ook andere factoren – studenten die onterecht zakken of slagen (waardoor het verschil tussen een 5.4 of een 5.6, en een 5.5, dikwijls arbitrair is). Voor zwaarwegende beslissingen is dus veel data nodig zijn, de zogenaamde ‘confetti-aanpak’. Het is zaak om op meerdere momenten, in verschillende situaties, bewijsmateriaal te verzamelen over het leerproces, beheersing en uiteindelijk transfer.
- Zorg voor een rijke variatie aan datapunten
Veel data betekent nog niet dat dat ook de juiste data is. Het tweede belangrijke principe is daarom dat er voldoende variatie in de data zit, bijvoorbeeld door te zorgen voor een mix aan toetsvormen die tezamen rijke informatie opleveren voor een goed beeld van de leerling. Zorg dus dat je naast schriftelijke toetsen voldoende andere toetsvormen in je programma terug laat komen. Een eenzijdig dieet aan toetsing levert uiteindelijk een magere onderbouwing op.
- Vertrek vanuit de leerdoelen
Werk bij het vormgeven van je toetsmomenten vanuit het principe van achterwaarts ontwerp. Het is zaak om steeds voor ogen te houden welke doelen je nastreeft met je leerlingen, welk bewijsmateriaal je daarvoor nodig hebt om daarna pas te bedenken welke toetsvorm daarvoor het meest geschikt is.[5] Veel docenten beginnen steevast bij ‘de toets’ – al dan niet aangeleverd door de gebruikte methode – en redeneren van daaruit terug. Het risico is dan echter dat de constructieve afstemming tussen je leerdoelen, activiteiten en toetsvorm onvoldoende gewaarborgd is. Dit kan ertoe leiden dat het cijfer weinig zegt over het daadwerkelijke begrip van de belangrijkste leerdoelen en dit maakt het moeilijk om een valide uitspraak te doen over de capaciteiten.
- Investeer in kennis en kwaliteit
Het opstellen van een toetsprogramma (en dit verzamelen en interpreteren) vraagt om voldoende toets- en inhoudelijke deskundigheid. Niet alleen de kwaliteit van het bewijsmateriaal is belangrijk om tot valide beslissingen te komen, minstens zo belangrijk zijn de ogen en oren van de beoordelaars. Wie heb je nodig om het bewijsmateriaal goed te kunnen analyseren, interpreteren en te vertalen naar een beslissing? Welke inhoudelijke expertise en beoordelaarsexpertise is nodig?
b. Focus niet alleen op de meetbare, maar ook merkbare observaties
Daar waar scholen vaak zeer nauwgezette afspraken hebben over het verzamelen van formele data op daarvoor geplande toetsmomenten, geldt dat een stuk minder voor de dataverzameling rondom niet-cognitieve vaardigheden (bv. werkhouding en motivatie). Deze gegevens worden vaak op een niet-doelgerichte en niet-systematische manier verzameld. En dat is opvallend omdat onderzoek laat zien dat juist dit soort informatie vaak een grote rol speelt bij besluiten[6]. Ook voor deze data geldt dat je een procedure met elkaar vaststelt hoe en met welk bewijsmateriaal een uitspraak wordt gedaan over de capaciteiten van de leerling. Wat verwacht je als team van een leerling op tl- of havo-niveau als het gaat om samenwerking of kunnen plannen en organiseren? Hoe kom je tot een rijk aanbod aan meetmomenten waarop de leerling zich kan bewijzen? En hoe leg je resultaten daarvan dan vast? Wat we vaak zien is dat deze niet-cogniteve vaardigheden gescoord worden bij projecten of opdrachten maar dat de becijfering wegvalt in het grotere geheel. Voor het goed samenwerken of volgen van de planning kunnen dan bijvoorbeeld 10 van de 100 punten verdiend worden. Het vraagt dan goede afspraken van een team om ervoor te zorgen dat die informatie ook op een centrale plek terechtkomt en uitgewisseld kan worden. Alleen dan kan je een samenhangend beeld genereren wat gebruikt kan worden bij het determinatie moment. Kortom: juist ook voor de verzameling van niet-cognitieve gegevens is het zaak om te kalibreren, gestructureerd data te verzamelen, kritisch te kijken naar je meetinstrumenten en afspraken te maken over beslisregels en wijze van verslaglegging en rapportage.
c. Laat ruimte open voor flexibiliteit
Daar waar het aan de ene kant belangrijk is om met duidelijke afspraken een gelijk speelveld voor iedere leerling te creëren, is het ook zaak om ruimte voor flexibiliteit te houden. Er zijn soms nu eenmaal situaties die vragen om ruimte en buigzaamheid. Zo kunnen zwaarwegende omstandigheden als ziekte of uitval aanleiding zijn om aanpassingen te doen in het toetsprogramma. Het is dan wel de uitdaging om, met minder data, toch een goed beeld te vormen van de capaciteiten van de leerling. Juist in dit soort situaties helpt een goed opgebouwd en samenhangend toetsprogramma om te komen tot een uitgebalanceerde alternatieve route. Je focust je dan enkel op die opdrachten die in de kalibratiefase als rijk en bepalend zijn aangemerkt.
Een ander voorbeeld kan zijn dat je merkt dat de prestaties van een leerling achterblijven bij zijn potentieel, het lukt niet om de capaciteiten te vertalen in betrouwbare toetsresultaten. Zo kan het gebeuren dat een leerling niet aan de norm voldoet maar toch regelmatig tijdens de lessen momenten van begrip en beheersing laat zien. Dit kan een tijdelijke fase zijn die bijvoorbeeld veroorzaakt wordt door problemen in de thuissituatie. Er zijn echter ook factoren in kindkenmerken, ontwikkelingsproblematiek of het systeem aan te wijzen die een langdurig effect veroorzaken, denk aan als autisme, ADHD, hoogbegaafdheid of een trauma. Het is bij dit soort leerlingen belangrijk dit als team bijtijds te signaleren en afspraken te maken over aanvullend of alternatief dataonderzoek. Zo kan het helpen om zogenaamde ‘kritische momenten’ te gaan inventariseren: momenten buiten de vaste beoordelingsmomenten om waarin je bewijsmateriaal van dieper begrip ziet. Dit materiaal kan dan dienen als aanvullende bewijslast voor de uiteindelijke prognose.
d. Investeer in databewustzijn en -geletterdheid
Onderzoek laat zien dat docenten het lastig vinden data te verzamelen, filteren en interpreteren.[7] Dat is ook wel begrijpelijk. Er komt als docent zoveel informatie op je af dat er heel wat vaardigheden nodig zijn om het belangrijke eruit te halen. Het is daarom belangrijk om in je team een lerende cultuur te creëren omtrent dataverzameling. Elkaar helpen, samen reflecteren, intervisie in samenspraak met duidelijke criteria en een gezamenlijk gevoel van urgentie en belang maakt dat mensen zich vaardiger voelen en beslissingen sterker worden.[8] Ook is het belangrijk om te investeren in een datateam en de kennis en kunde van die mensen vooral ook ten dienste te stellen aan de lesgevers. Onderzoek laat zien dat veel datateams vooral ingezet worden op schoolniveau, bijvoorbeeld om een inspectiebezoek voor te bereiden. Inzet op meso- of zelfs microniveau wordt veel minder vaak gedaan.[9] Het zou wenselijk zijn wanneer docenten zelf een beroep doen op het datateam voor een eigen analyse. Tenslotte is het zaak om als team niet alleen goed na te denken over welke data je wel mee of niet meeneemt in je besluitvormingsproces (zie fase 1: kalibratie) maar ook hoe je die data op een overzichtelijke wijze administreert én communiceert. Het versterken van de datageletterdheid van docenten zal helpen om focus aan te brengen in de inrichting van het verzamelingsproces én in de latere besluitvorming. Maar geeft het een gevoel van regie: “We weten welke data we verzamelen in het belang van de leerling en waarom we dat zo doen.”
Tot slot
In deze blog hebben we de eerste twee belangrijke fasen van een eerlijk, transparant en kansrijk determinatiebeleid beschreven: het proces van kalibratie en het proces van doelgerichte dataverzameling. We hebben onderbouwd dat een gedeeld beeld van verwachte prestaties en capaciteiten voorwaardelijk is om te komen tot een goed ingericht toetsprogramma waarin data wordt verzameld die nodig is om tot valide uitspraken te komen over deze prestaties en capaciteiten. We kunnen in deze blog onmogelijk recht doen aan de complexiteit van kalibratie en dataverzameling, maar hopen het bewustzijn van het belang van beide processen te hebben kunnen overbrengen. In de volgende blog – deel 3 – duiken we in het proces van data interpretatie en het inrichten van het uiteindelijke besluitvormingsproces.
Referenties
Datnow, A., Park, V., & Kennedy-Lewis, B. (2012). High school teachers’ use of data to inform instruction. Journal of Education for Students Placed At Risk, 17, 247–265.
Gubbels, J., van Langen, A. M. L., Maassen, N. A. M. & Meelissen, M. R. M. (2019). Resultaten PISA-2018 in vogelvlucht. Enschede: Universiteit Twente.
Jimerson, J. B., Cho, V., & Wayman, J. C. (2016). Student-involved data use: Teacher practices and considerations for professional learning. Teaching and Teacher Education, 60, 413-424.
Jimerson, J. B., & Wayman, J. C. (2015). Professional learning for using data: Examining teacher needs and supports. Teachers College Record, 117(4), 1–36.
Mandinach, E. B., & Jimerson, J. B. (2016). Teachers learning how to use data: A synthesis of the issues and what is known. Teaching and Teacher Education, 60, 452-457.
Schildkamp, K., & Kuiper, W. (2010). Data-informed curriculum reform: Which data,
what purposes, and promoting and hindering factors. Teaching and Teacher Education, 26, 482–496.
Van der Lans, R. M., van de Grift, W. J. C. M., & van Veen, K. (2015). Developing a Teacher Evaluation Instrument to Provide Formative Feedback Using Student Ratings of Teaching Acts. Educational Measurement: Issues and Practice, 34(3), 18-27.
Vanlommel, K., Van Gasse, R., Vanhoof, J., & Van Petegem, P. (2018). Teachers high-
stakes decision making. How teaching approaches affect rational and intuitive data
collection. Teaching and Teacher Education, 71, 108–119.
Wiggins, G., & McTighe, J. (2005). Understanding by Design: Second edition. Alexandria, VA: ASCD.
- (Gubbels, Van Langen, Maassen & Meelissen, 2019) ↑
- (VanLommel, 2018) ↑
- (Vanlommel, 2018) ↑
- (Van der Lans, Van de Grift & Van de Veen, 2015) ↑
- (Wiggins & McTighe, 2011) ↑
- (VanLommel, 2018) ↑
- (Jimerson & Wayman, 2015) ↑
- (Datnow et al., 2012; Jimerson et al., 2016; Mandinach & Jimerson, 2016) ↑
- (Schildkamp & Kuiper, 2010) ↑
Authors
-
Arjen Nanninga is onderwijskundige en heeft jarenlange ervaring als schoolleider in het PO en VO. Hij is bestuurder van Toetsrevolutie en verzorgt adviestrajecten rondom determinatie-beleid in het voortgezet onderwijs.
Bekijk Berichten -
Dominique Sluijsmans is onderwijskundige met een specialisatie op het gebied van toetsing. Ze schreef diverse succesvolle en invloedrijke boeken zoals Wijze Lessen en Toetsrevolutie.
Bekijk Berichten