GovGPT Academy

Hoofdstuk 1. AI begrijpen en herkennen

Les 1.5 Waarom AI fouten maakt

Kennisclip 2:10 GovGPT - Medewerker HEAR AI Mediation
Wat je in deze les laat zien

Je vindt in een AI-antwoord een verzonnen wetsartikel of bron, en legt uit hoe zo'n fout ontstaat.

De video laadt pas als je op afspelen klikt. YouTube draait dan in de privacyvriendelijke modus.

Lees het transcript

Hoi! Fijn dat je er weer bent. AI klinkt zeker, ook als het niet klopt. Soms noemt het een wetsartikel dat niet bestaat. Komt dat in een brief aan een inwoner, dan is het jouw fout. In deze les vind je in een AI-antwoord een verzonnen wetsartikel, en leg je uit hoe zo'n fout ontstaat.

Een taalmodel voorspelt wat waarschijnlijk klinkt. Een artikelnummer past in dat patroon, ook als het niet bestaat. Onderzoek liet zien: algemene taalmodellen verzonnen bij juridische vragen in minstens 58 procent van de gevallen iets. En ze gingen vaak mee met een onjuiste aanname van de vrager. Nummers, termijnen en bronnen zijn het riskantst. Check ze dus altijd in de officiële bron. AI helpt, jij beslist.

Laten we het proberen in GovGPT, met GovGPT Medewerker. Ik plak een antwoord van een andere chatbot, voor deze les verzonnen: artikel 4:13a van de Awb geeft vier weken voor een parkeervergunning. Ik zet webzoeken aan, en vraag: bestaat dit artikel, en wat zegt de Awb echt? Geef de link. GovGPT zoekt op internet, en zegt: artikel 4:13a bestaat niet. Artikel 4:13 noemt een redelijke termijn, uiterlijk acht weken. Dan vraag ik hoe zo'n fout ontstaat. De chatbot vult een nummer aan dat waarschijnlijk klinkt, een hallucinatie. Ik open de link zelf. Na artikel 4:13 komt meteen 4:14. Een artikel 4:13a staat er niet.

Wat werkte hier goed? GovGPT ging niet mee met de fout, en gaf de officiële wettekst met een werkende link. Het zei ook dat een lokale verordening een andere termijn kan hebben. Eén ding doe ik altijd zelf: het artikel openen en lezen, voordat het in een brief komt.

Nu ben jij aan de beurt. Neem een AI-antwoord met een wetsartikel uit je werk. Zet webzoeken aan, en vraag GovGPT Medewerker of het artikel bestaat en wat het echt zegt. Open de link zelf, en schrijf op hoe de fout ontstond, via de opdracht onder deze video. Veel succes, en tot in de volgende les!

Probeer het in GovGPT

  1. Neem een AI-antwoord met een wetsartikel, termijn of bron uit je eigen werk. Heb je er geen? Gebruik dan dit oefenantwoord, dat voor deze opdracht verzonnen is: "Volgens artikel 6:7a van de Algemene wet bestuursrecht is de bezwaartermijn tien weken."
  2. Schrijf eerst zelf op wat je denkt. Klopt het nummer? Klopt de termijn?
  3. Open GovGPT en kies GovGPT - Medewerker. GovGPT zoekt bij een vraag over wetten en regels zelf op internet. Je mag webzoeken ook zelf aanzetten, maar het hoeft niet. Dat doe je onder het invoerveld met de knop met de schuifjes, bij Webzoekopdracht.
  4. Verstuur de tekst hieronder.

Een AI-antwoord zei: '...' Zoek op internet of dit artikel bestaat, en wat de wet echt zegt. Geef de link. Houd het kort.

  1. Open de link zelf, op wetten.overheid.nl of een andere officiële bron. Lees het artikel. Kijk ook welk artikel ervoor en erna komt, en welke versie geldt.
  2. Vraag in hetzelfde gesprek:

Hoe kan een chatbot zo'n artikel verzinnen? Leg het kort uit.

  1. Schrijf in twee zinnen op hoe de fout ontstond, in je eigen woorden. Bijvoorbeeld: het model voorspelt wat waarschijnlijk klinkt, en een nummer met een letter erachter past in dat patroon.
  2. Spreek met jezelf af: een artikel, termijn of bron uit een AI-antwoord zet je pas in een brief of advies als je het zelf hebt geopend en gelezen.

Tip. Zegt GovGPT dat het niet live kan zoeken? Stel de vraag dan nog een keer, met "Zoek op internet" vooraan, of zet webzoeken zelf aan. Denk ook aan een lokale verordening; die kan een andere termijn hebben dan de Awb.

Waar doe je deze opdracht?

In GovGPT via je organisatie

Werkt je organisatie met GovGPT? Log in via de link die je van je organisatie hebt gekregen en kies GovGPT - Medewerker. Weet je de link niet, vraag het dan aan je leidinggevende of de servicedesk.

GovGPT voor je organisatie

Nog geen GovGPT? Je organisatie kan GovGPT afnemen, met de privacyafspraken die daarbij horen. Gebruik voor deze opdracht geen gegevens van inwoners buiten die afspraken.

GovGPT voor je organisatie (opent in een nieuw tabblad)

Geen GovGPT?

Dan kun je de opdracht doen in de AI-omgeving die je organisatie heeft toegestaan. We kunnen niet garanderen dat het daar net zo goed werkt als in GovGPT. Je mist bijvoorbeeld de rollen voor overheidswerk en het vaste blok met verificatiestappen onder elk antwoord. Gebruik geen consumententool voor je werk, dat sluit aan bij het overheidsbrede standpunt over generatieve AI.

Checkvragen

1. Waarom noemt een taalmodel soms een wetsartikel dat niet bestaat?
2. Wat liet onderzoek zien over algemene taalmodellen en juridische vragen?
3. Welke onderdelen van een AI-antwoord zijn volgens de les het riskantst?
4. Een AI-antwoord noemt een Awb-artikel met een termijn. GovGPT zegt dat het artikel niet bestaat en geeft een link naar de wettekst. Wat doe je voordat het in een brief komt?
5. GovGPT noemt de termijn uit de Awb voor een aanvraag. Waar let je volgens de les nog op?

Reflectie

Je antwoord blijft alleen in deze browser. Voor je certificaat telt een antwoord van minstens 20 tekens. Zo bewaar je je voortgang.

Bronnen bij deze les

  • Dahl, M., Magesh, V., Suzgun, M., & Ho, D. E. (2024). Large legal fictions: Profiling legal hallucinations in large language models. Journal of Legal Analysis, 16(1), 64–93. https://doi.org/10.1093/jla/laae003 (opent in een nieuw tabblad)
    Algemene taalmodellen zoals ChatGPT 4 bleken bij juridische vragen in minstens 58 procent van de gevallen te hallucineren, konden hun eigen fouten slecht inschatten en gingen vaak mee met onjuiste juridische aannames van de vrager. Dat is precies het verzonnen wetsartikel uit deze les.
  • Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, Artikel 14045. https://doi.org/10.1038/s41598-023-41032-5 (opent in een nieuw tabblad)
    Van 636 literatuurverwijzingen van ChatGPT bleek 55 procent (GPT-3.5) en 18 procent (GPT-4) verzonnen, en ook echte verwijzingen bevatten fouten. Een bron in een nota of raadsvoorstel die je niet zelf hebt geopend, is dus nog geen bron.

In de bronnenclip Bronnen bij hoofdstuk 1 licht Pascal toe waar de lessen van dit hoofdstuk op steunen.

Je voortgang blijft alleen in deze browser.