Hoofdstuk 8. Feedback, toetsing en beoordeling
Les 8.1 Feedback met AI, het oordeel bij jou
Je laat AI feedback op leerlingwerk voorbereiden, en past die aan voordat de leerling hem ziet.
Lees het transcript
Hoi! Fijn dat je er weer bent. Feedback op dertig verslagen kost tijd. AI kan het voorbereiden. Maar wie beslist wat de student te lezen krijgt? In deze les laat je AI feedback op studentwerk voorbereiden, en pas je die aan voordat de student hem ziet.
Geef de AI jouw criteria, en zeg wat het doel van de opdracht is. Deel geen naam of andere gegevens van de student. Vraag een niveau per criterium, met citaten uit het werk, zodat je het zelf kunt nalezen. Onderzoek laat zien: AI-feedback helpt, het best samen met die van de docent. Het oordeel blijft bij jou.
Laten we het proberen in EduGPT. Voor feedback met niveaus kies ik GLM in EduGPT Scaleway. Dat draait in Europa, en er wordt niets getraind met wat je invoert. Ik plak mijn criteria en een verzonnen reflectieverslag. Ik vraag een niveau per criterium, met citaten uit de tekst, en feedback voor de student in vijf zinnen. GLM geeft twee keer niveau twee. Ik leg het naast mijn rubric: Korthagen wordt genoemd, maar niet uitgelegd. Dat klopt. De feedback heeft een top en een tip, en schrijft het leerdoel niet voor de student. Ik voeg één persoonlijke zin toe, over ons stagegesprek. GLM bevestigt dat het klopt, en ziet dat het nu zes zinnen zijn.
Wat werkte hier goed? Door de citaten kon ik elk niveau snel zelf nalezen. En de feedback laat het denkwerk bij de student: er staat geen kant-en-klaar leerdoel in. Ik check alleen nog de lengte. Zes zinnen vind ik prima, dat beslis ik zelf.
Nu ben jij aan de beurt. Kies een opdracht met criteria, en werk zonder namen. Laat GLM per criterium een niveau geven, met citaten, en leg het naast je rubric. Maak je eigen versie, en vertel de student dat je AI hebt gebruikt. Veel succes, en tot in de volgende les!
Probeer het in EduGPT
- Kies een opdracht uit je module en pak de criteria of de rubric erbij, bijvoorbeeld voor een reflectieverslag, een beroepsproduct of een stageopdracht.
- Kies één stuk studentwerk om mee te oefenen. Haal naam, studentnummer en andere gegevens eruit, of schrijf zelf een kort voorbeeld. Werk met echte studentteksten alleen zoals jouw opleiding dat toestaat.
- Open EduGPT, kies in de modelkeuze EduGPT - Scaleway en daarin GLM. Dat model draait in Europa, en er wordt niets getraind met wat je invoert. Plak je criteria, het werk en je vraag in één bericht.
Ik ben docent ... (opleiding, niveau, leerjaar). Dit zijn mijn criteria voor ... (niveau 1 tot ...): ...
Hier is het werk (zonder naam of andere gegevens). Het doel van deze opdracht is vooral ... .
"..."
Geef per criterium een niveau, met als onderbouwing letterlijke citaten uit de tekst. Gebruik alleen mijn criteria en voeg niets toe. Schrijf daarna de feedback voor de student in maximaal vijf zinnen, in de je-vorm, met één top en één tip. Schrijf geen zinnen die de student zo kan overnemen.
- Leg elk niveau naast je eigen rubric. Staan de citaten echt in het werk? Past het niveau bij de tekst van je rubric? Jij beslist of het klopt.
- Lees de feedback na. Heeft hij één top en één tip, past hij bij het doel, en schrijft hij niets voor wat de student zelf moet bedenken?
- Maak er je eigen versie van, met één kleine aanpassing van jou. Bijvoorbeeld een persoonlijke zin over jullie volgende gesprek, een accent dat jij belangrijk vindt, of een toon die past bij deze student.
- Plak je eigen versie terug en vraag of hij nog klopt.
Dit maak ik ervan voor de student: "..." Klopt dit nog met mijn criteria? Houd het kort.
- Vertel de student dat je de feedback met AI hebt voorbereid en zelf hebt nagekeken en aangepast.
Tip. Vraag je niet om letterlijke citaten, dan krijg je soms alleen een niveau zonder onderbouwing. Met citaten zie je meteen of het oordeel uit de tekst komt.
Waar doe je deze opdracht?
Via je school of opleiding
Heb je EduGPT via je school of opleiding? Log in via de link die je daar hebt gekregen en kies EduGPT - Scaleway.
EduGPT voor je school
Wil je EduGPT met je team of je studenten gebruiken? Dan regelt je school het, met de privacyafspraken die daarbij horen. Gebruik voor je voorbereiding geen gegevens van studenten buiten die afspraken.
Geen toegang tot EduGPT?
Dan kun je de opdracht ook in je eigen AI-tool doen. We kunnen niet garanderen dat het daar net zo goed werkt als in EduGPT. Je mist bijvoorbeeld de Kritisch Denken Engine, die eerst vragen terugstelt in plaats van meteen het antwoord te geven.
Checkvragen
De checkvragen bij deze les volgen nog.
Reflectie
Je antwoord blijft op dit scherm en wordt nergens opgeslagen.
Verdieping
CivAI heeft dit verder uitgewerkt in de kennisclip Feedback Companion in actie (opent in een nieuw tabblad).
Korte link youtu.be/J95937amHac
Bronnen bij deze les
- Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112. https://doi.org/10.3102/003465430298487 (opent in een nieuw tabblad)Dit klassieke overzicht laat zien dat feedback een krachtige maar wisselende invloed op leren heeft en vooral werkt als die antwoord geeft op drie vragen (waar ga ik heen, hoe gaat het, wat is de volgende stap) op het juiste niveau, het kader waarmee je door AI voorbereide feedback beoordeelt en bijstelt.
- Escalante, J., Pack, A., & Barrett, A. (2023). AI-generated feedback on writing: Insights into efficacy and ENL student preference. International Journal of Educational Technology in Higher Education, 20, Artikel 57. https://doi.org/10.1186/s41239-023-00425-2 (opent in een nieuw tabblad)In een zesweekse quasi-experimentele studie met 48 studenten Engels als nieuwe taal leverde schrijffeedback van GPT-4 dezelfde leeropbrengst op als feedback van een menselijke tutor, terwijl een tweede groep van 43 studenten ongeveer gelijk verdeeld was in voorkeur, waarna de auteurs een combinatie van AI- en docentfeedback aanbevelen.