“We willen naar veel minder toetsen.”

“We leggen nu een te grote nadruk op presteren in plaats van leren.”

“We willen van een toetscultuur naar een feedbackcultuur.”

“Cijfers belemmeren het leren, het wordt tijd dat we daarmee stoppen.”

“Leerlingen hollen van toets naar toets.”

Deze citaten geven blijk van de gangbare interpretatie en situatie van toetsing in het onderwijs. De grote misvatting is nog steeds dat toetsing draait om toetsen, cijfers en presteren. Dat is ook niet gek, want dit zijn de beelden, praktijken en ervaringen waarmee we zijn opgegroeid. Het is echter belangrijk bewust te zijn dat toetsing lange tijd als een psychometrisch vraagstuk is benaderd, waarbij vooral wordt gekeken hoe een toets als instrument kan voldoen aan een aantal kwaliteitseisen vanuit de klassieke testpsychologie. Voorbeelden van eisen zijn betrouwbaarheid, objectiviteit en eenduidigheid. Deze benadering legt de nadruk op een toets als instrument, waarbij de didactische functie weinig tot geen rol speelt. Gelukkig zijn door de jaren heen de beperkingen van een te instrumentele bril steeds meer benoemd en is er veel kennis ontwikkeld over de plek van toetsing in een curriculum. En hoewel toetsing inmiddels in de wetenschappelijke literatuur veel meer wordt beschreven als een ontwerpvraagstuk in plaats van een puur technisch vraagstuk, blijft het complex om verankerde beelden over toetsing te veranderen in de dagelijkse onderwijspraktijk.

In deze blog willen we de onderwijspraktijk een perspectief op toetsing bieden dat kan helpen een aantal misvattingen over toetsing weg te nemen, namelijk toetsing als een niet altijd te voorspellen onderzoeksproces. In het volgende maken we duidelijk wat we daarmee bedoelen en hoe dat er in de praktijk uit kan zien.

Toetsing als een onderzoeksproces

Als docent zijn er veel momenten waarop je nieuwsgierig bent naar jouw leerlingen of studenten. Snappen ze eigenlijk wat ik gisteren aan ze hebt uitgelegd? Wat zouden ze vinden van een bepaalde stelling? Zijn ze wel aan het denken over datgene waarover ik denk dat ze aan het denken zijn? Zijn ze in staat een gedegen antwoord te formuleren? Je zult over al die vragen waarschijnlijk bepaalde aannames hebben, maar de enige manier om te achterhalen (te toetsen) of deze aannames ook echt kloppen, is actief en systematisch naar de antwoorden op zoek te gaan.

Om die antwoorden te vinden, zet je jezelf in de schoenen van de onderzoeker. En dit past eigenlijk heel mooi bij de vertaling die we zelden in onderwijs aan de Engelse term voor toetsing – assessment – geven: een onderzoek. Denk bijvoorbeeld aan een ‘medical assessment’, een medisch onderzoek om een bepaalde diagnose te kunnen stellen en een passend behandelplan.

Je zou dus kunnen stellen dat in een proces van toetsing je als het ware een klein onderzoeksproces uitvoert:

een proces,

waarin je op basis van een bepaalde hypothese of vraag,

in relatie tot een bepaald doel,

met een gerichte methode,

informatie (data) gaat verzamelen,

interpreteren,

en vertalen naar een antwoord en beslissing.

Laten we deze definitie kort uiteenrafelen. Door het woord proces te gebruiken, wordt helder dat dat je je niet alleen gaat richten op het ontwerp van een methode, bijvoorbeeld een toets die je wilt afnemen over een bepaald hoofdstuk of een voorkennisquiz over de vorige les. Het onderzoeksproces begint altijd met een vraag: Wat wil ik te weten komen over mijn leerlingen of studenten en waarom? Waar ben ik nieuwsgierig naar? Of een hypothese: 90% van mijn leerlingen begrijpt X, Y of Z. Zicht op en helderheid van je onderwijsdoelen is dus van belang: Wat wil je dat je leerlingen of studenten kunnen of begrijpen na jouw onderwijs? Hoe duidelijker de vraag en de doelen zijn, hoe meer dit houvast dit geeft aan de wijze (de methode) waarop je bij je leerlingen of studenten informatie gaat verzamelen. Vervolgens is het van belang deze informatie van waarde te gaan voorzien: Geeft de informatie mij antwoord op de vraag die ik had? Zo ja, dan kan deze worden gebruikt om over te gaan naar een beslissing in relatie tot het beoogde doel. Zo nee, dan is er meer of andere informatie nodig.

Helderheid over de beoogde doelen en de te nemen beslissingen bepaalt in hoge mate de kwaliteit van het proces. Doelen en daaraan gekoppelde beslissingen zijn leidend zijn voor informatieverzameling: de focus ligt dus niet op data-gestuurde besluitvorming, maar op besluit-gestuurde dataverzameling. Dus eerst weten waarover je iets te weten wilt komen en waarom, in plaats van de verzamelde data leidend te laten zijn in wat je kunt of gaat beslissen. Dit is best spannend, want in het onderwijs kijken we vaak liever eerst naar data, om deze vervolgens sturend te laten zijn voor beslissingen. Dit wordt in de onderzoekwereld ook wel ‘HARK-ing’ genoemd (Hypothesizing After the Results are Known): we gaan het doel of de aanname pas definiëren of aanpassen als de resultaten bekend zijn^[1].

Sommige data zijn echter ongeschikt om bepaalde conclusies aan te verbinden. Zo zul je de resultaten op een MC-toets over piano spelen nog geen uitspraak kunnen doen of iemand daadwerkelijk piano kan spelen. Of met een normgerichte toets over spellingsvaardigheid (het gemiddelde van de klas bepaalt of je onvoldoende of voldoende hebt) iets kunnen zeggen of de spellingsvaardigheid op niveau is. Het niveau wordt immers bepaald door de groep: zo zal een 7 in een zwakke groep een andere waarde hebben dan een 7 in een sterke groep.

Twee soorten onderzoeksprocessen

Er zijn twee soorten onderzoeksprocessen te onderscheiden: een proces van formatief handelen en een proces van summatief beoordelen.

Een proces van formatief handelen heeft als doel een geïnformeerde vervolgstap in het didactische proces (wat ga ik nu doen als docent?) en in het leerproces te bepalen (wat ga ik nu doen als leerling/student? Of: wat heb ik nodig om verder te kunnen?). De ontwikkeling naar zelfstandigheid staat centraal waarbij fouten maken (zonder zwaarwegende consequenties) een natuurlijk onderdeel is. Processen van formatief handelen zijn meestal ‘mini-onderzoeken’ die binnen een aantal contactmomenten/lessen kunnen worden uitgevoerd.

Een proces van summatief beoordelen heeft als doel onderbouwde uitspraken te kunnen doen over (voldoende) zelfstandige beheersing van hoofddoelen c.q. curriculumdoelen (kan/begrijpt de leerling/student het nu echt zelf?). Bekende processen van summatief beoordelen zijn de processen in een PTA richting diplomering of andere processen die gericht zijn op determinatie (bijvoorbeeld overgangsbeslissingen).

Hoe kunnen beide processen eruitzien?

De beschrijvingen van de beide processen maken duidelijk dat formatief en summatief dus uitdrukkelijk niet verwijzen naar een eigenschap van een methode of toets (we herhalen het nog maar een keer: een formatieve toets bestaat niet!), maar naar een eigenschap van het proces en het doel van dat proces. In beide processen gaan het om het doorlopen van een aantal doordachte stappen door de docenten en de leerling of student. Die stappen worden met kennis van zaken zorgvuldig genomen. Voor docenten betekent dit bijvoorbeeld dat zij – zowel in een proces van formatief handelen als in het proces van summatief beoordelen – kennis moeten hebben van doelen, vakinhoud en -didactiek, en in staat moeten zijn leerlingen of studenten de juiste vragen te stellen zodat de gewenste informatie kan worden achterhaald.

Zonder de juiste informatie bestaat het risico dat er onjuiste conclusies worden getrokken in een proces van formatief handelen (bijvoorbeeld ‘Eén student gaf het goede antwoord dus ik kan verder met mijn les.’) of in een proces van summatief beoordelen (bijvoorbeeld het gebruik van een schriftelijke toets om een mondelinge vaardigheid te beoordelen).

In Tabel 1 hebben we van beide processen een voorbeeld uitgewerkt.

Tabel 1. Voorbeeld van een proces van formatief handelen en summatief beoordelen bij het vak Nederlands (met dank aan Hilly Drok, naast collega-trainer bij Toetsrevolutie ook docente Nederlands)

Met bovenstaand voorbeeld willen we benadrukken dat

• de kwaliteit van zowel een proces van formatief handelen als summatief beoordelen wordt bepaald door de zwakste schakel in het proces. Is bijvoorbeeld de vraag die wordt onderzocht niet helder genoeg, dan bestaat het risico dat ook niet de juiste methode wordt gekozen om tot data te komen. Dit heeft dan weer tot gevolg dat er geen valide conclusies of geïnformeerde vervolgstappen kunnen worden geformuleerd;
• beide processen andere ontwerpprincipes kennen (o.a. de type vragen, doelen, methodes, etc.).
• de manier waarop die beslissing vervolgens wordt genomen en gecommuniceerd moet daarmee in lijn moet zijn. Nu zien we nog vaak dat toetsresultaten worden vertaald in (een reeks van) cijfers. Vervolgens berekenen we een gemiddelde daarvan om een beslissing te kunnen nemen. Maar omdat de informatie uit de verschillende toetsen zoveel ‘omzettingen’ gehad hebben, wordt het moeilijk houdbaar om deze informatie te gebruiken voor een valide beslissing;
• processen van formatief handelen zijn verankerd in de dagelijkse didactiek en moeten veilig zijn voor de leerling en student. Zij moeten ervaren dat zij in deze processen nog mogen en durven te laten zien wat nog niet lukt of wordt begrepen. Het mag niet zo zijn dat je daarop wordt afgerekend of dat daar zwaarwegend consequenties aan zijn verbonden. In onze advance organiser noemen we dit ook wel het blauwe deel (zie figuur 1).
• processen van summatief beoordelen (deels) plaatsvinden in de ‘openbaarheid’: de leerling of student is er klaar voor om het geleerde aan de buitenwereld te laten zien (zie het rode deel in de advance organiser).
• beide processen kunnen niet worden ingericht zonder heldere doelen als basis, maar ook niet los van elkaar. Er is dus constructieve afstemming nodig tussen doelen en de beide processen (zie figuur 1). In een volgende blog zullen we dieper in gaan hoe de processen van formatief en summatief beoordelen zich tot elkaar verhouden.

Welke keuzevrijheid biedt een benadering van toetsing als een onderzoeksproces?

Door toetsing veel meer te beschouwen als een onderzoekproces, waarbij – net als bij elk ander onderzoek – de uitkomsten van tevoren meestal nog niet zo evident vaststaan (anders had je het onderzoek immers ook niet nodig), ontstaat er ruimte om binnen een proces van formatief handelen en summatief beoordelen keuzes te maken. Wij zien de volgende kansen:

• Hoe meer docenten onderzoekend en doelgericht handelen, hoe meer zij in staat zullen zijn en ook durven een beslissing uit te stellen wanneer de informatie op basis waarvan die beslissing moet worden genomen nog te gering is of niet de juiste was. Denk aan het nog een keer uitleggen bij een proces van formatief handelen of het niet communiceren van resultaten (omdat ze geen goede weerspiegeling zijn van het beheersingsniveau of niet goed in lijn blijken te zijn met de doelen) in een proces van summatief beoordelen.
• Docenten kunnen het onderzoeksproces meerdere keren doorlopen als het beantwoorden van de vraag of aanname dat vraagt. Denk aan leerlingen nog een keer de kans geven een toets te maken als blijkt dat bij de eerste toets iedereen een onvoldoende heeft. En het dus geen zin heeft om toch door te gaan in het onderwijsproces als nog niet alle leerlingen of studenten de doelen beheersen.
• Zeker in processen van summatief handelen is het belangrijk dat docenten als team nadenken welke aannames, doelen en methode zij delen, en hoe zij gezamenlijk verantwoordelijkheid kunnen nemen de stappen in het proces te doorlopen. Dit komt de validiteit van de uiteindelijke beslissingen, en daarmee de leerlingen of studenten, ten goede.

Goed en zorgvuldig achterhalen en vaststellen wat leerlingen of studenten nodig hebben om betrokken te blijven in het leerproces, maar ook wanneer zij kunnen worden beloond voor zelfstandige beheersing, vraagt van een docent een onderzoekende houding en vakmanschap. Juist deze onderzoekende houding en vakmanschap, waarin een aantal doordachte denk- en doe-stappen centraal staat, kan de dominante gedachte aan toetsing als een puur instrumentele cijfer- en presteerfabriek – zie de citaten bij de start van deze blog – laten verdwijnen.

Noten

1. Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2(3), 196-217. ↑