GovGPT Academy

Hoofdstuk 11. Zelf AI Companions bouwen

Les 11.4 Testen met collega's

Kennisclip 2:09 Agent Builder
Wat je in deze les laat zien

Je laat collega's de AI Companion testen en verwerkt hun feedback.

De video laadt pas als je op afspelen klikt. YouTube draait dan in de privacyvriendelijke modus.

Lees het transcript

Hoi! Fijn dat je er weer bent. Je AI Companion werkt, maar je hebt hem vooral zelf getest. Collega's stellen andere vragen, en zien andere dingen. In deze les laat je collega's de AI Companion testen, en verwerk je hun feedback.

In onderzoek wisten mensen pas goed waaraan een antwoord moet voldoen, toen ze echte antwoorden beoordeelden. Laat collega's daarom testen met vragen uit hun werk, en noteer bij elke vraag wat een goed antwoord is. Verwerk hun feedback met een kleine, gerichte aanpassing in de instructies. En test daarna opnieuw, ook met vragen die al goed gingen. Jij past de AI Companion aan. AI helpt, jij beslist.

Laten we het proberen in GovGPT, met GovGPT Medewerker. Ik vraag een testlijst met zes vragen voor collega's van het KCC, met bij elke vraag waaraan een goed antwoord voldoet. GovGPT maakt vragen over ophalen, een klacht, een aanvraag, een adres, en geluidsoverlast, die buiten de afvalwijzer valt. Een collega test de Afvalwijzer met een vraag over grofvuil. Het antwoord klopt, maar ze mist waar het staat. Inwoners willen het kunnen nalezen. In de Agent Builder voeg ik één regel toe. Noem onder elk antwoord uit welk onderdeel van de afvalwijzer het komt. In een nieuwe chat stel ik dezelfde vraag. Nu staat de bron eronder, onderdeel 4, Grofvuil. Daarna test ik een vraag die al goed ging. De AI Companion verwijst nog steeds naar het KCC.

Dit werkte goed, want één gerichte regel loste de feedback op, en de oude vraag ging nog steeds goed. Het eerste antwoord was niet fout, maar miste iets wat inwoners nodig hebben. Dat zie je vaak pas als collega's testen. Houd daarom een vaste testlijst bij, en test die na elke aanpassing opnieuw.

Nu ben jij aan de beurt. Laat GovGPT een testlijst maken, of gebruik het voorbeeld bij de opdracht. Laat twee collega's testen, en verwerk hun feedback in één gerichte regel. Test daarna opnieuw, ook de vragen die al goed gingen. De opdracht staat onder deze video. Veel succes, en tot in de volgende les!

Probeer het in GovGPT

  1. Laat GovGPT - Medewerker een testlijst maken voor je AI Companion, met bij elke vraag waaraan een goed antwoord voldoet. Neem ook een vraag op die buiten je document valt.
  2. Laat twee collega's je AI Companion proberen met vragen uit hun eigen werk. Deel hem daarvoor alleen met die twee collega's, of laat ze meekijken op jouw scherm.
  3. Noteer hun feedback, en kies één punt. Verwerk dat met één gerichte regel in de instructies, en klik op Opslaan.
  4. Test opnieuw in een nieuwe chat, met de vraag van je collega én met vragen die al goed gingen.

Of oefen eerst met dit voorbeeld (verzonnen):

Een collega van het KCC geeft deze feedback op onze AI Companion, de Afvalwijzer van de verzonnen gemeente Heidevoort. "De antwoorden kloppen, maar ze zijn te lang voor inwoners die op hun telefoon lezen." Herschrijf deze regel uit de instructies zodat de feedback verwerkt is, en noem twee testvragen om te controleren dat er niets anders slechter wordt. Regel "Je antwoorden zijn kort en duidelijk." Geen tabel.

Tip. In de test vroeg GovGPT eerst door: wat is de maximale lengte, moet het directe antwoord eerst, en welk taalniveau geldt? Beantwoord die vragen; dan krijg je een nieuwe regel en twee testvragen. Bewaar je testvragen in een vaste lijst, zodat je ze na elke aanpassing opnieuw kunt stellen.

Waar doe je deze opdracht?

In GovGPT via je organisatie

Werkt je organisatie met GovGPT? Log in via de link die je van je organisatie hebt gekregen en kies Agent Builder. Weet je de link niet, vraag het dan aan je leidinggevende of de servicedesk.

GovGPT voor je organisatie

Nog geen GovGPT? Je organisatie kan GovGPT afnemen, met de privacyafspraken die daarbij horen. Gebruik voor deze opdracht geen gegevens van inwoners buiten die afspraken.

GovGPT voor je organisatie (opent in een nieuw tabblad)

Geen GovGPT?

Dan kun je de opdracht doen in de AI-omgeving die je organisatie heeft toegestaan. We kunnen niet garanderen dat het daar net zo goed werkt als in GovGPT. Je mist bijvoorbeeld de rollen voor overheidswerk en het vaste blok met verificatiestappen onder elk antwoord. Gebruik geen consumententool voor je werk, dat sluit aan bij het overheidsbrede standpunt over generatieve AI.

Checkvragen

1. Waarom laat je collega's je AI Companion testen, en niet alleen jezelf?
2. GovGPT maakt een testlijst met zes vragen zoals collega's die stellen. Wat staat er bij elke vraag?
3. Een collega test met een vraag over grofvuil. Het antwoord klopt. Wat mist ze?
4. Hoe verwerk je die feedback?
5. Je hebt de regel toegevoegd. Wat doe je daarna?

Reflectie

Je antwoord blijft alleen in deze browser. Voor je certificaat telt een antwoord van minstens 20 tekens. Zo bewaar je je voortgang.

Bronnen bij deze les

  • Shankar, S., Zamfirescu-Pereira, J. D., Hartmann, B., Parameswaran, A., & Arawjo, I. (2024). Who validates the validators? Aligning LLM-assisted evaluation of LLM outputs with human preferences. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (pp. 1–14). ACM. https://doi.org/10.1145/3654777.3676450 (opent in een nieuw tabblad)
    De onderzoekers ontdekten dat mensen pas goed weten waaraan een antwoord moet voldoen als ze echte antwoorden beoordelen, een verschijnsel dat ze criteria drift noemen. Daarom laat je collega's de AI Companion met echte vragen uit hun werk testen en scherp je daarna samen de instructies en criteria aan.

In de bronnenclip Bronnen bij hoofdstuk 11 licht Pascal toe waar de lessen van dit hoofdstuk op steunen.

Je voortgang blijft alleen in deze browser.