Hoofdstuk 8. Feedback, toetsing en beoordeling
Les 8.3 Toetsvragen maken en checken
Je maakt met AI toetsvragen op verschillende niveaus, en controleert ze op juistheid en dekking.
Lees het transcript
Hoi! Fijn dat je er weer bent. Toetsvragen maken kost tijd. AI maakt er zo tien. Maar kloppen de antwoorden, en toetst elke vraag wat jij wilt toetsen? In deze les maak je met AI toetsvragen op verschillende niveaus, en controleer je ze op juistheid en dekking.
Begin bij je leerdoelen, en maak een toetsmatrijs: per vraag het leerdoel, het niveau en de punten. Geef AI je stof en je matrijs, en laat bij elke vraag het leerdoel en het niveau noemen. Een overzicht van 71 studies vond in door AI gemaakte meerkeuzevragen tot 45 procent fouten. Controleer dus: klopt het antwoord, is de vraag eenduidig, en is elk leerdoel gedekt? AI helpt je snel op weg, maar jij blijft verantwoordelijk.
Laten we het proberen in EduGPT. Daarvoor kies ik GLM in EduGPT Scaleway. Dat draait in Europa, en er wordt niets getraind met wat je invoert. Ik geef mijn leerdoelen, de stof met een casus, en mijn toetsmatrijs. GLM maakt vier vragen precies volgens mijn matrijs, met leerdoel, niveau en punten. Ik reken de sleutel na: duizend stuks, en na de prijsverhoging 667. Elk leerdoel heeft een vraag, samen twintig punten. Dat klopt. Eén ding zie ik nog: de sleutel geeft een punt voor naar boven afronden, maar vraag 3 zegt dat niet. Ik vraag GLM alleen die vraag aan te passen. Nu staat er: rond naar boven af op hele stuks.
Wat werkte hier goed? GLM volgde mijn matrijs precies, en elke berekening klopte. Omdat ik de stof en de cijfers zelf gaf, voegde het niets toe. Ik check alleen nog met een collega of de vragen passen bij jaar één.
Nu ben jij aan de beurt. Kies een module, en maak je toetsmatrijs. Geef GLM je leerdoelen, je stof en je matrijs, en vraag om een antwoordsleutel. Reken elke sleutel na, check dekking en eenduidigheid, en vraag om één gerichte aanpassing. Veel succes, en tot in de volgende les!
Probeer het in EduGPT
- Kies een module of les waarvoor je toetsvragen nodig hebt. Schrijf twee of drie leerdoelen op, zo concreet mogelijk ("de student berekent ...", "de student beoordeelt ...").
- Maak je toetsmatrijs. Zet per vraag het leerdoel, het niveau (Bloom of RTTI), het vraagtype en de punten.
- Open EduGPT en kies in de modelkeuze EduGPT - Scaleway met GLM. Dat draait in Europa, en er wordt niets getraind met wat je invoert. Geef alles in één bericht en vul de puntjes in. Geef de stof en de cijfers zelf mee, dan voegt GLM niets toe.
Ik ben docent ... (opleiding, niveau, leerjaar). Ik maak toetsvragen voor de module ... (summatief of formatief, schriftelijk). Mijn leerdoelen. De student: 1. ... 2. ... 3. ... De stof: ... (formule, begrippen of kern uit je lesboek, en een casus met cijfers). Mijn toetsmatrijs: vraag 1: leerdoel ..., Bloom ..., meerkeuze of open, ... punten; vraag 2: ... Maak de vragen met antwoordsleutel en puntenverdeling. Noem bij elke vraag het leerdoel, het niveau en de punten. Gebruik alleen mijn stof, casus en matrijs, en voeg niets toe.
- Controleer zelf, vraag voor vraag.
- Juistheid. Reken elke berekening in de sleutel na. Klopt het goede antwoord bij meerkeuze, en zijn de andere antwoorden echt fout?
- Dekking. Hoort bij elk leerdoel minstens één vraag? Kloppen de punten met je matrijs, en klopt het totaal?
- Eenduidigheid. Staat in de vraag wat de sleutel beloont? Bijvoorbeeld een afrondregel, een eenheid of het aantal argumenten.
- Niveau. Past het niveau bij wat de vraag echt vraagt, bijvoorbeeld rekenen (toepassen) of afwegen (evalueren)?
- Zie je iets wat beter kan, vraag dan om één gerichte aanpassing.
Pas alleen vraag ... aan: ... . De rest blijft gelijk. Geef alleen de nieuwe vraag ... met sleutel.
- Check de nieuwe vraag opnieuw, en leg de toets voor aan een collega of de toetscommissie voordat je hem gebruikt. Een AI-controle vervangt geen collegiale toetsing.
Tip. Zet de vragen daarna in je eigen toetsdocument, en lees ze daar nog een keer na zoals je studenten (of leerlingen) ze lezen.
Waar doe je deze opdracht?
Via je school of opleiding
Heb je EduGPT via je school of opleiding? Log in via de link die je daar hebt gekregen en kies EduGPT - Scaleway.
EduGPT voor je school
Wil je EduGPT met je team of je studenten gebruiken? Dan regelt je school het, met de privacyafspraken die daarbij horen. Gebruik voor je voorbereiding geen gegevens van studenten buiten die afspraken.
Geen toegang tot EduGPT?
Dan kun je de opdracht ook in je eigen AI-tool doen. We kunnen niet garanderen dat het daar net zo goed werkt als in EduGPT. Je mist bijvoorbeeld de Kritisch Denken Engine, die eerst vragen terugstelt in plaats van meteen het antwoord te geven.
Checkvragen
De checkvragen bij deze les volgen nog.
Reflectie
Je antwoord blijft op dit scherm en wordt nergens opgeslagen.
Verdieping
CivAI heeft dit verder uitgewerkt in de kennisclip Toetsing, leren en AI, van keuzes naar verantwoordelijkheid (opent in een nieuw tabblad).
Korte link youtu.be/3xEFuxAHAKY
Bronnen bij deze les
- Kıyak, Y. S., Kaya, A. B., & Emekli, E. (2026). Validity of AI-generated multiple-choice questions in medical education: A systematic review. Postgraduate Medical Journal. Advance online publication. https://doi.org/10.1093/postmj/qgag057 (opent in een nieuw tabblad)Deze review van 71 studies vond in door AI gemaakte meerkeuzevragen foutpercentages van minder dan 1 tot 45 procent naast grote tijdwinst, en concludeert dat taalmodellen bruikbaar zijn voor een eerste versie maar dat het bewijs nog geen onbewaakt gebruik in summatieve toetsen ondersteunt.
- Schmucker, R., & Moore, S. (2026). The impact of item-writing flaws on difficulty and discrimination in item response theory. Computers and Education: Artificial Intelligence, 11, Artikel 100632. https://doi.org/10.1016/j.caeai.2026.100632 (opent in een nieuw tabblad)Bij 7.126 meerkeuzevragen in bètavakken hing het aantal constructiefouten (zoals ontkennende formuleringen of onaannemelijke afleiders) samen met de moeilijkheid en het onderscheidend vermogen van een vraag, zodat een checklist met zulke fouten een nuttige eerste controle is op door AI gemaakte vragen.