GovGPT Academy

Hoofdstuk 11. Zelf AI Companions bouwen

Les 11.3 Eigen kennis toevoegen

Kennisclip 2:13 Agent Builder
Wat je in deze les laat zien

Je voegt documenten toe en controleert of de AI Companion ze goed gebruikt.

De video laadt pas als je op afspelen klikt. YouTube draait dan in de privacyvriendelijke modus.

Lees het transcript

Hoi! Fijn dat je er weer bent. Je AI Companion kent nu zijn taak en zijn grenzen, maar nog niet de regels van je gemeente. Die geef je hem mee in een document, zoals een afvalwijzer of een werkinstructie. In deze les voeg je een document toe, en controleer je of de AI Companion het goed gebruikt.

Onderzoekers vonden zeven punten waarop een systeem kan falen dat antwoorden uit eigen documenten haalt. Of het goed werkt, merk je pas als je het met echte vragen test. En juridische tools die in eigen bronnen zoeken, gingen nog in 17 tot 33 procent van de gevallen fout. Test daarom met een vraag die in het document staat, en met een vraag die er niet in staat. Jij kent het document. AI helpt, jij beslist.

Laten we het proberen in GovGPT, in de Agent Builder. Ik voeg een blok Kennis toe aan de instructies. De AI Companion gebruikt het bestand met de afvalwijzer, en zegt het als iets er niet in staat. Ik zet File Search aan, en upload een verzonnen afvalwijzer van Heidevoort. Eerst een vraag die erin staat. Wanneer wordt het gft in de wijk Beukenhof geleegd, en neemt de milieustraat asbest aan? Op dinsdag, van april tot en met oktober elke week, en anders om de week. Asbest neemt de milieustraat niet aan. Dan een vraag die er niet in staat. Mijn container is kapot. De AI Companion zegt dat de afvalwijzer daar niets over zegt, en verwijst naar het KCC.

Dit werkte goed, want de AI Companion haalde de antwoorden uit het document, en verzon niets bij de tweede vraag. Eén controlepunt uit de opdracht. Leg elk antwoord naast het document. De dinsdag staat bij onderdeel 2, het asbest bij onderdeel 5. Zo zie je of hij het goede deel gebruikt. In de volgende les laat je hem dat zelf noemen.

Nu ben jij aan de beurt. Neem een openbaar document zonder persoonsgegevens, of de verzonnen afvalwijzer bij de opdracht. Voeg het toe, en stel een vraag die erin staat en een vraag die er niet in staat. Leg elk antwoord naast het document. De opdracht staat onder deze video. Veel succes, en tot in de volgende les!

Probeer het in GovGPT

  1. Kies een openbaar document uit je werk, zonder persoonsgegevens en zonder vertrouwelijke informatie. Of gebruik de verzonnen afvalwijzer hieronder. Plak die tekst in een tekstbestand (.txt) en sla het op.
  2. Voeg in de Agent Builder aan de instructies een blok Kennis toe, bijvoorbeeld "Je baseert je antwoorden op het bestand Afvalwijzer Heidevoort 2027. Staat het antwoord daar niet in, zeg dat dan en verwijs naar het KCC."
  3. Zet bij Zoeken naar bestanden File Search aan, klik op Upload for File Search, kies je bestand en klik op Opslaan.
  4. Stel twee vragen. Eén waarvan het antwoord in het document staat, en één waarvan het er niet in staat. Leg elk antwoord naast het document. Klopt elke zin, en komt hij uit het goede deel?

Verzonnen afvalwijzer om te gebruiken:

Afvalwijzer Heidevoort 2027 Verzonnen voorbeeld voor de CivAI Academy. De gemeente Heidevoort bestaat niet.

  1. Restafval De grijze container wordt elke twee weken op maandag geleegd. Zet de container voor 7.30 uur aan de straat.

  2. Gft De groene container wordt in de wijken Beukenhof en Lindehoeve op dinsdag geleegd, in de wijken Centrum en Stationskwartier op donderdag. Van april tot en met oktober gebeurt dat elke week, de rest van het jaar om de week.

  3. Oud papier De blauwe container wordt eens per vier weken op woensdag geleegd.

  4. Grofvuil Grofvuil wordt op afspraak aan huis opgehaald, maximaal vier keer per jaar en maximaal 2 kubieke meter per keer. Een afspraak maak je via het digitaal loket of bij het KCC. Zet grofvuil pas op de ophaaldag voor 7.30 uur buiten. Grofvuil naast een container is niet toegestaan.

  5. Milieustraat De milieustraat ligt aan de Beukenlaan 50. Open op woensdag van 13.00 tot 17.00 uur en op zaterdag van 9.00 tot 16.00 uur. Neem je afvalpas mee. De milieustraat neemt onder meer hout, puin, metaal, elektrische apparaten, matrassen en tuinafval aan. Asbest neemt de milieustraat niet aan. Voor asbest heb je een erkend bedrijf nodig.

  6. Contact Het KCC van Heidevoort is bereikbaar van maandag tot en met vrijdag van 8.30 tot 17.00 uur.

Tip. In de test haalde de AI Companion de ophaaldag en de regel over asbest goed uit het bestand, en zei hij bij een kapotte container eerlijk dat dit niet in de afvalwijzer stond. In een eerdere test zette hij wel de tijd van 7.30 uur bij het gft, terwijl die in de afvalwijzer bij restafval staat. Lees dus zin voor zin na.

Waar doe je deze opdracht?

In GovGPT via je organisatie

Werkt je organisatie met GovGPT? Log in via de link die je van je organisatie hebt gekregen en kies Agent Builder. Weet je de link niet, vraag het dan aan je leidinggevende of de servicedesk.

GovGPT voor je organisatie

Nog geen GovGPT? Je organisatie kan GovGPT afnemen, met de privacyafspraken die daarbij horen. Gebruik voor deze opdracht geen gegevens van inwoners buiten die afspraken.

GovGPT voor je organisatie (opent in een nieuw tabblad)

Geen GovGPT?

Dan kun je de opdracht doen in de AI-omgeving die je organisatie heeft toegestaan. We kunnen niet garanderen dat het daar net zo goed werkt als in GovGPT. Je mist bijvoorbeeld de rollen voor overheidswerk en het vaste blok met verificatiestappen onder elk antwoord. Gebruik geen consumententool voor je werk, dat sluit aan bij het overheidsbrede standpunt over generatieve AI.

Checkvragen

1. Hoe geef je je AI Companion de regels van je gemeente mee, zoals een afvalwijzer?
2. Hoe test je of de AI Companion het document goed gebruikt?
3. Een inwoner meldt dat de container kapot is. Dat staat niet in de afvalwijzer. Welk antwoord wil je zien?
4. De AI Companion zegt dat het gft in Beukenhof op dinsdag wordt geleegd en dat de milieustraat geen asbest aanneemt. Wat doe je?
5. Waarom blijf je controleren, ook als de AI Companion antwoordt uit je eigen documenten?

Reflectie

Je antwoord blijft alleen in deze browser. Voor je certificaat telt een antwoord van minstens 20 tekens. Zo bewaar je je voortgang.

Bronnen bij deze les

  • Barnett, S., Kurniawan, S., Thudumu, S., Brannelly, Z., & Abdelrazek, M. (2024). Seven failure points when engineering a retrieval augmented generation system. In Proceedings of the IEEE/ACM 3rd International Conference on AI Engineering: Software Engineering for AI (pp. 194–199). ACM. https://doi.org/10.1145/3644815.3644945 (opent in een nieuw tabblad)
    Uit drie praktijkcasussen halen de auteurs zeven punten waarop een systeem dat antwoorden haalt uit eigen documenten kan falen, en concluderen dat je zo'n systeem pas echt kunt valideren tijdens gebruik. Daarom controleer je in deze les met eigen vragen of de AI Companion de toegevoegde documenten goed vindt en juist gebruikt.
  • Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C. D., & Ho, D. E. (2025). Hallucination-free? Assessing the reliability of leading AI legal research tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413 (opent in een nieuw tabblad)
    Deze studie (ook gebruikt bij les 7.1) laat zien dat juridische tools die in eigen bronnen zoeken minder verzinnen dan een algemene chatbot, maar nog steeds in 17 tot 33 procent van de gevallen fout gaan. Eigen kennis toevoegen maakt een AI Companion beter, maar niet foutloos.

In de bronnenclip Bronnen bij hoofdstuk 11 licht Pascal toe waar de lessen van dit hoofdstuk op steunen.

Je voortgang blijft alleen in deze browser.