GovGPT Academy

Hoofdstuk 3. Zelf blijven oordelen

Les 3.1 AI klinkt altijd zeker

Kennisclip 2:07 GovGPT - Medewerker HEAR AI Mediation
Wat je in deze les laat zien

Je herkent stellige taal zonder onderbouwing en vraagt door naar bewijs.

De video laadt pas als je op afspelen klikt. YouTube draait dan in de privacyvriendelijke modus.

Lees het transcript

Hoi! Fijn dat je er weer bent. AI schrijft vaak heel stellig, ook als iets niet zeker is. Woorden als altijd, gegarandeerd en uit onderzoek blijkt klinken overtuigend. Maar ze bewijzen niets. In deze les herken je stellige taal zonder onderbouwing, en vraag je door naar bewijs.

Een taalmodel kiest woorden die waarschijnlijk volgen. Het weet niet of iets klopt. Daardoor klinkt een fout antwoord net zo zeker als een goed antwoord. Onderzoek liet zien dat mensen een lange, stellige uitleg vaker geloven, ook als die niet juister is. Let dus op woorden als altijd, iedere en gegarandeerd, en op cijfers zonder bron. Vraag door: welke bron, welk onderzoek, voor wie geldt dit? AI helpt, jij beslist.

Laten we het proberen in GovGPT, met GovGPT Medewerker. Een andere chatbot schreef een stuk over een chatbot op de site van de verzonnen gemeente Heidevoort. Dat antwoord is voor deze les verzonnen. Ik vraag GovGPT welke zinnen zeker klinken, maar zonder onderbouwing. GovGPT wijst alle vier de zinnen aan. Van altijd een goed idee, tot gegarandeerd 30 procent. En het zegt waarom: absolute uitspraken en cijfers, zonder bron of voorwaarden. Dan vraag ik een versie die niet zekerder klinkt dan we kunnen onderbouwen. Die zegt kan en mogelijk, en verzint geen cijfers.

Wat werkte hier goed? GovGPT wees de stellige zinnen aan, en maakte de tekst eerlijker. Het noemt ook vragen die je kan stellen, zoals naar het onderzoek en de meetmethode. Die stel ik zelf aan de collega die dit aanleverde. Waar komt die 80 procent vandaan?

Nu ben jij aan de beurt. Neem een AI-antwoord uit je werk dat heel zeker klinkt. Markeer de woorden en cijfers die zeker klinken, zonder bron. Vraag GovGPT naar de onderbouwing, en noteer wat er overbleef, via de opdracht onder deze video. Veel succes, en tot in de volgende les!

Probeer het in GovGPT

  1. Kies een AI-antwoord uit je werk dat heel zeker klinkt, of gebruik het voorbeeld hieronder (verzonnen).
  2. Markeer zelf eerst de woorden en cijfers die zeker klinken, zoals altijd, iedere, gegarandeerd, uit onderzoek blijkt, of een percentage zonder bron.
  3. Open GovGPT en kies GovGPT - Medewerker. Plak het antwoord en vraag:

Welke zinnen klinken zeker, maar zonder onderbouwing? Houd het kort.

Voorbeeld om te plakken:

"Met AI-samenvattingen van vergaderingen is iedere notulist overbodig. Uit onderzoek blijkt dat AI 95 procent van de besluiten foutloos vastlegt. Dit werkt in elke gemeente direct."

  1. Vergelijk met je eigen markeringen. Wat zag GovGPT dat jij miste, of andersom?
  2. Vraag door naar bewijs. Bijvoorbeeld: "Herschrijf de tekst zo dat hij niet zekerder klinkt dan we kunnen onderbouwen. Verzin geen cijfers."
  3. Lees ook het blok onder het antwoord van GovGPT, met het betrouwbaarheidsniveau.
  4. Noteer welke beweringen bleven staan, en welke bron je nog nodig hebt.

Waar doe je deze opdracht?

In GovGPT via je organisatie

Werkt je organisatie met GovGPT? Log in via de link die je van je organisatie hebt gekregen en kies GovGPT - Medewerker. Weet je de link niet, vraag het dan aan je leidinggevende of de servicedesk.

GovGPT voor je organisatie

Nog geen GovGPT? Je organisatie kan GovGPT afnemen, met de privacyafspraken die daarbij horen. Gebruik voor deze opdracht geen gegevens van inwoners buiten die afspraken.

GovGPT voor je organisatie (opent in een nieuw tabblad)

Geen GovGPT?

Dan kun je de opdracht doen in de AI-omgeving die je organisatie heeft toegestaan. We kunnen niet garanderen dat het daar net zo goed werkt als in GovGPT. Je mist bijvoorbeeld de rollen voor overheidswerk en het vaste blok met verificatiestappen onder elk antwoord. Gebruik geen consumententool voor je werk, dat sluit aan bij het overheidsbrede standpunt over generatieve AI.

Checkvragen

1. Waarom klinkt een fout AI-antwoord vaak net zo zeker als een goed antwoord?
2. Welke woorden zijn volgens de les een signaal om door te vragen?
3. Wat liet onderzoek zien over een lange, stellige uitleg?
4. Een tekst belooft 'gegarandeerd 30 procent' minder telefoontjes door een chatbot. Welke vraag stel je?
5. GovGPT maakt de tekst eerlijker, met 'kan' en 'mogelijk'. In de tekst stond een cijfer van 80 procent dat een collega aanleverde. Wat doe je?

Reflectie

Je antwoord blijft alleen in deze browser. Voor je certificaat telt een antwoord van minstens 20 tekens. Zo bewaar je je voortgang.

Bronnen bij deze les

  • Steyvers, M., Tejeda, H., Kumar, A., Belem, C., Karny, S., Hu, X., Mayer, L. W., & Smyth, P. (2025). What large language models know and what people think they know. Nature Machine Intelligence, 7(2), 221–231. https://doi.org/10.1038/s42256-024-00976-7 (opent in een nieuw tabblad)
    Mensen overschatten hoe vaak antwoorden van taalmodellen kloppen, en een langere uitleg verhoogde hun vertrouwen ook als het antwoord daardoor niet juister werd. Een stellig en uitgebreid antwoord over een regeling is dus geen bewijs dat het klopt.
  • Kim, S. S. Y., Liao, Q. V., Vorvoreanu, M., Ballard, S., & Vaughan, J. W. (2024). "I'm not sure, but...": Examining the impact of large language models' uncertainty expression on user reliance and trust. In Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (pp. 822–835). ACM. https://doi.org/10.1145/3630106.3658941 (opent in een nieuw tabblad)
    Wanneer een AI-antwoord twijfel uitsprak, gingen mensen minder blind mee met foute antwoorden, al verdween het te grote vertrouwen niet helemaal. Dat onderbouwt de gewoonte om bij stellige taal zelf door te vragen naar onderbouwing.

In de bronnenclip Bronnen bij hoofdstuk 3 licht Pascal toe waar de lessen van dit hoofdstuk op steunen.

Je voortgang blijft alleen in deze browser.