De recente blog van Dominique Sluijsmans en Valentina Devid (https://toetsrevolutie.nl/?p=3042) was voor ons, als docenten en onderwijsonderzoekers in het hoger onderwijs, een feest van herkenning.

Met ons onderwijs willen we graag ook bijdragen aan het vullen van de competentierugzak van studenten, zodat ze in de beroepspraktijk goed beslagen ten ijs komen. We zien ook graag dat ze deze rugzak vanuit autonome motivatie vullen – wij kunnen hen helpen en stimuleren, maar het leerwerk moet uiteindelijk door de student zelf verricht worden. Om deze autonome motivatie te bevorderen doen we in ons onderwijs van alles om competentie, ervaren verbondenheid en autonomie te ondersteunen.^[1]

Autonome motivatie bij beginnende studenten is echter niet altijd even gemakkelijk aan te boren. Voor docenten betekent dit dat het goed is om ook af en toe gebruik te maken van meer externe prikkels. Zoals Dominique en Valentina in hun blog aangeven is een summatieve toets – dus een toets die meeweegt bij het verkrijgen van studiepunten – een van de geschikte manieren hiervoor. Beginnende studenten kunnen het immers lastig vinden om in te zien waarom bepaalde kennis en vaardigheden later in de beroepspraktijk belangrijk zullen zijn; hiertoe ontbreekt bij hen gewoonweg de relevante voorkennis. Daarnaast biedt summatieve toetsing een sterke externe motivator die structuur biedt aan studenten. De beloning die uitgaat van een gehaalde toets versterkt de competentie en dat verhoogt weer de autonome motivatie.

In deze blog beschrijven we waarom Anton (een van de auteurs) en zijn collega in het eerstejaarsvak materiaalkunde in de opleiding werktuigbouwkunde cumulatieve, summatieve toetsing hebben ingezet, wat de ervaringen van docenten en studenten zijn geweest met deze manier van werken en hoe de aandacht hiervoor heeft geleid tot bredere aandacht voor formatief handelen.

Onderwijscontext en uitdaging

Materiaalkunde is een basisvak in elke hbo-opleiding werktuigbouwkunde. Bij de Avans-opleiding werktuigbouwkunde (een van de opleidingen van de Academie voor Technologie en Innovatie, ATIx) wordt materiaalkunde daarom al vanaf het eerste jaar gegeven. Materiaalkunde wordt in het eerste jaar verzorgd in een blokperiode van 8 weken. Er zijn 2 ECTS gekoppeld aan het vak en in de blokperiode volgen de studenten eveneens andere vakken en practica. Voor materiaalkunde wordt er in week 1 t/m 7 wekelijks één onderwijsbijeenkomst georganiseerd. Studenten moeten zich voorbereiden op zo’n bijeenkomst door relevante theoretische achtergrondinformatie te bestuderen. Tijdens de bijeenkomst zelf gaat de docent kort in op de bestudeerde stof, beantwoordt vragen en licht de opdrachten toe waarmee studenten tijdens het grootste deel van de bijeenkomst aan de slag moeten gaan. Het vak wordt afgesloten met een toets aan het einde van de periode.

Anton en de collega met wie hij het vak verzorgt (vier klassen met elk ongeveer vijfentwintig studenten), merkten dat de studenten zich niet goed voorbereidden voor deze bijeenkomsten. Hierdoor bleef de opbrengst van de opdrachten – die gericht zijn op diepere verwerking en toepassing van de bestudeerde stof – beperkt, en waren de leeropbrengsten voor studenten minder hoog dan ze zouden kunnen zijn. Verder zagen zij vaak dat studenten hun leergedrag uitstelden tot vlak voor het tentamen waardoor de stof in een korte tijd in het hoofd moest worden gestampt. Deze strategie leidt wellicht tot een positieve momentprestatie, maar belemmert het langetermijnleren en de opbouw van sterke kennisschema’s.

Van sommige studenten kregen ze daarnaast de feedback dat zij graag wat meer tussentijdse toetsen zouden willen krijgen zodat ze konden bepalen of ze op de goede weg waren. De uitdaging waar Anton en zijn collega zich voor gesteld zagen was dus studenten eerder te activeren, maar ook studenten regelmatiger van expliciete feedback te voorzien. Cumulatief en summatief tussentijds toetsen leek een passende reactie op deze uitdaging.

Cumulatief en summatief tussentijds toetsen

Het enthousiasme voor cumulatief tussentijds toetsen werd aangewakkerd door een publicatie van Serge Kerkdijk en collega’s^[2], die deze vorm van summatieve toetsing hadden getest binnen een geneeskunde-curriculum. Het idee van een cumulatieve, summatieve toetsing is dat studenten in een onderwijsperiode meerdere tussentijdse toetsen maken:

• Deze toetsen zijn cumulatief omdat een toets altijd de gehele voorgaande stof afdekt.

• Ze zijn summatief omdat het resultaat op de tussentijdse toetsen meetelt voor de eindtoets waar studiepunten aan gekoppeld zijn.

• De toetsen zijn low stakes omdat er compensatie mogelijk is binnen een reeks van summatieve toetsen en omdat de weegfactor van de summatieve toetsen beperkt is.

Er zijn verschillende theoretische en praktische redenen om te veronderstellen dat cumulatieve, summatieve tussentijdse toetsen werken:

1) Ze bevorderen het regelmatig en gespreid leren van de stof (spacing),

2) Ze vragen van studenten om de geleerde stof uit het geheugen terug te halen (retrieval practice) en

3) Ze vragen van studenten om na te denken over welk onderdeel van de stof ze moeten gebruiken bij welke toetsvraag (interleaved practice).

Spacing, retrieval practice en interleaved practice zijn stuk voor stuk strategieën die de opbouw van sterke kennisschema’s bevorderen. Alle reden dus om optimistisch te zijn over cumulatieve summatieve toetsen.

Cumulatief tussentijds toetsen in eerstejaars materiaalkunde

Cumulatieve tussentijds toetsen worden sinds het studiejaar 2016-2017 in het eerstejaarsvak materiaalkunde gebruikt en sindsdien is de aanpak doorontwikkeld. Een aantal basiselementen is echter gehandhaafd. Binnen het vak maken studenten drie cumulatieve tussentijdse toetsen. Voor het maken en het bespreken van een cumulatieve toets is een sessie van 1 uur ingeroosterd; deelname aan de toetsen is een verplicht onderdeel van het vak. Tijdens het eerste half uur van een sessie maken studenten tien opdrachten op een computer in een online toetsomgeving. De opdrachten bestrijken telkens alle stof die tot aan de toetssessie aan bod gekomen is waarbij telkens het grootste deel van de vragen gaat over de meest recente stof. De opdrachten zijn qua moeilijkheid en vereiste bewerkingen – beheersing van conceptdefinities, toepassing van concepten, nadenken over concepten – vergelijkbaar met de opdrachten op de eindtoets van het vak.

Het verschil tussen de cumulatieve toetsen en de eindtoets is gelegen in het antwoordtype. Op de eindtoets is er sprake van open vragen terwijl de antwoorden op de cumulatieve toetsen bestaan uit vragen die een kort antwoord vereisen, zoals meerkeuzevragen en fill-in-the-blank vragen. Door met dit soort antwoordvormen te werken kunnen de opdrachten van de studenten automatisch nagekeken worden.

Nadat alle studenten de opdrachten gemaakt hebben, ontvangen zij direct het resultaat. Dat bestaat uit feedback over het aantal correct beantwoorde vragen. Dit aantal vormt het cijfer voor de cumulatieve toets: 8 vragen goed betekent dus een cijfer 8. Studenten krijgen echter niet alleen maar feedback op de prestatie. In het tweede half uur van de sessie legt de docent namelijk klassikaal uit hoe de verschillende opdrachten aangepakt hadden moeten worden. Ook wordt het juiste antwoord op elke vraag gegeven. Studenten krijgen verder de mogelijkheid om vragen te stellen.

De basiselementen zijn in de loop van de tijd aangepast en uitgebreid op basis van ervaring van de docenten en de behoeften van de studenten. Zo werd de nabespreking van de opdrachten gericht op de opdrachten waar studenten – blijkens de resultaten die de docenten direct konden inzien – de meeste moeite mee hadden. Ook werden studenten die moeite hadden met de stof apart begeleid. Zij kregen niet alleen feedback die terugblikt, maar ook feedback om ze verder te helpen met hun aanpak zodat zij de stof beter onder de knie konden krijgen.

Verder veranderde de bijdrage van de cumulatieve toetsen aan de eindtoets. Aanvankelijk bepaalde het gemiddelde van een reeks summatieve toetsen voor 30% het eindcijfer. Het idee was dat een dergelijke prikkel noodzakelijk was om te zorgen dat studenten serieus aan de slag gingen. Later bleek uit onderzoek^[3] dat de cumulatieve toetsen zonder een dergelijke prikkel net zo goed werken, als onderdeel van formatief handelen – dat wil zeggen dat de informatie benut wordt om vervolgstappen in het leerproces vorm te geven.

Sinds het studiejaar 2020-2021 tellen de cumulatieve toetsen daarom niet meer mee voor het eindcijfer. Studenten kunnen echter wel een half bonuspunt op de eindtoets verdienen als ze de meerderheid van de cumulatieve toetsen met een voldoende afsluiten. Deelname aan de cumulatieve toetsen is verder nog wel verplicht. Ervaring leerde namelijk dat studenten minder van de toetsen gebruik maken als er geen deelnameverplichting is.

Ervaringen met cumulatief toetsen en vervolg

De ervaringen met deze toetsen zijn positief. Anton en zijn collega hebben gemerkt dat studenten sinds de invoering van de cumulatieve toetsen veel beter voorbereid zijn op de onderwijsbijeenkomsten van het vak. Hierdoor leren studenten meer dan voorheen van de verdiepende opdrachten die in de bijeenkomsten aan bod komen. Studenten waarderen de toetsen eveneens zeer hoog. Zij vinden het fijn dat ze deze kunnen benutten om te zien of ze op de goede weg zijn en om te bepalen aan welke onderdelen van het vak zij extra aandacht moeten besteden.

Of studenten door dit alles de leerstof daadwerkelijk beter zijn gaan beheersen is moeilijk te zeggen. Cumulatief toetsen is voor alle studenten in het vak materiaalkunde ingevoerd waardoor een gecontroleerde experimentele vergelijking niet mogelijk was. Een vergelijking van toetsresultaten in een langjarige reeks zou eventueel een indicatie kunnen geven van het effect van summatieve toetsen op de eindcijfers. Deze vergelijking is echter lastig, onder andere omdat het vak zelf de nodige veranderingen heeft ondergaan en omdat effecten van dit soort ingrepen mogelijk pas op langere termijn zichtbaar worden.^[4]

Hoe dan ook is, mede dankzij het gebruik van cumulatief tussentijds toetsen bij materiaalkunde, in de gehele academie (bij Avans bestaat een academie doorgaans uit meerdere opleidingen, zo ook bij ATIx) uitgebreid aandacht gekomen voor het inzetten van toetsen als leermiddel. Meer specifiek is er nu de academie waar Anton werkt maar ook bij een technische zusteracademie (i.e., de Academie voor Technologie van Gezondheid en Milieu) heel veel aandacht gekomen voor formatief handelen als didactisch concept. Bij ATIx gaan in de lente van 2022 verschillende groepen docenten aan de slag om formatief handelen in hun onderwijs vorm te geven; de ervaringen die Anton heeft opgedaan in zijn vak zullen in het ontwerp van dit onderwijs een belangrijke rol gaan spelen.

Noten

1. https://lic.avans.nl/service.lic/publicaties/motivatie-motor en https://www.managementboek.nl/boek/9789090346625/studenten-verleiden-tot-leren-alard-joosten). ↑
2. zie bijvoorbeeld Kerdijk, W., Cohen-Schotanus, J., Mulder, B. F., Muntinghe, F. L. H., & Tio, R. A. (2015). Cumulative versus end-of-course assessment: effects on self-study time and test performance. Medical Education, 49, 709-716 ↑
3. zie Den Boer et al., 2021 ↑
4. zie ook Kerdijk en collega’s ↑

Literatuur

AWJP Den Boer, Peter Verkoeijen & Anita Heijltjes (2021) – Comparing formative and summative cumulative assessment. Psychology Learning and Teaching, 20 (1), 128-143 – doi: 10.1177/1475725720971946