GovGPT Academy

Hoofdstuk 3. Zelf blijven oordelen

Bronnen bij hoofdstuk 3

Kennisclip 2:14
Waar deze clip over gaat

Je ziet op welk onderzoek en welke regels de lessen van hoofdstuk 3 steunen, en waarom je ook bij die bronnen kritisch blijft lezen.

De video laadt pas als je op afspelen klikt. YouTube draait dan in de privacyvriendelijke modus.

Lees het transcript

Hoi! Fijn dat je er weer bent. De lessen in hoofdstuk 3 bouwen op onderzoek, ook met Nederlandse ambtenaren en politiemensen. In deze clip zie je per les waar het op steunt.

Bij les 3.1 vonden Steyvers en collega's, 2025, dat mensen overschatten hoe vaak antwoorden van taalmodellen kloppen. Een langere uitleg verhoogde hun vertrouwen, ook als het antwoord daardoor niet beter werd. Kim en collega's, 2024, zagen dat mensen minder blind meegingen met foute antwoorden als de AI twijfel uitsprak. Bij les 3.2 vonden Magesh en collega's, 2025, dat ook juridische AI-tools met bronnen in 17 tot 33 procent van de gevallen iets verzonnen. Wineburg en McGrew, 2019, zagen dat factcheckers een bron snel verlieten, om elders na te gaan of die klopte.

Bij les 3.3 vonden Alon-Barkat en Busuioc, 2023, in experimenten met onder meer 1.345 ambtenaren, dat ze advies van een algoritme niet blinder volgden dan van een mens. Wel volgden ze het vaker als het paste bij een stereotype over een groep. Selten en collega's, 2023, zagen dat politiemensen AI vooral vertrouwden als het klopte met hun eigen oordeel. Bij les 3.4 vonden Buçinca en collega's, 2021, dat eerst zelf nadenken het overnemen van foute adviezen sterker verminderde dan uitleg bij het advies. Bij les 3.5 laten Giest en Klievink, 2024, zien hoe AI de taken en de rol van ambtenaren verandert. En een Brits rapport uit 2025, met ruim 20.000 ambtenaren, meldt gemiddeld 26 minuten tijdwinst per dag, wel zelf geschat en zonder controlegroep.

Onderzoek naar AI gaat snel, en bronnen kunnen elkaar soms tegenspreken. Blijf daarom zelf kritisch lezen, ook bij de bronnen die wij kiezen.

De volledige bronnenlijst met links staat bij deze les op academy.civai.eu. Lees gerust een bron die je nieuwsgierig maakt. Veel succes, en tot in de volgende les!

Alle bronnen van hoofdstuk 3

Les 3.1 AI klinkt altijd zeker

  • Steyvers, M., Tejeda, H., Kumar, A., Belem, C., Karny, S., Hu, X., Mayer, L. W., & Smyth, P. (2025). What large language models know and what people think they know. Nature Machine Intelligence, 7(2), 221–231. https://doi.org/10.1038/s42256-024-00976-7 (opent in een nieuw tabblad)
    Mensen overschatten hoe vaak antwoorden van taalmodellen kloppen, en een langere uitleg verhoogde hun vertrouwen ook als het antwoord daardoor niet juister werd. Een stellig en uitgebreid antwoord over een regeling is dus geen bewijs dat het klopt.
  • Kim, S. S. Y., Liao, Q. V., Vorvoreanu, M., Ballard, S., & Vaughan, J. W. (2024). "I'm not sure, but...": Examining the impact of large language models' uncertainty expression on user reliance and trust. In Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (pp. 822–835). ACM. https://doi.org/10.1145/3630106.3658941 (opent in een nieuw tabblad)
    Wanneer een AI-antwoord twijfel uitsprak, gingen mensen minder blind mee met foute antwoorden, al verdween het te grote vertrouwen niet helemaal. Dat onderbouwt de gewoonte om bij stellige taal zelf door te vragen naar onderbouwing.

Les 3.2 Wetten, feiten en bronnen checken

  • Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C. D., & Ho, D. E. (2025). Hallucination-free? Assessing the reliability of leading AI legal research tools. Journal of Empirical Legal Studies, 22(2), 216–242. https://doi.org/10.1111/jels.12413 (opent in een nieuw tabblad)
    Ook gespecialiseerde juridische AI-tools die met bronnen werken en beloofden geen fouten te maken, verzonnen in 17 tot 33 procent van de gevallen informatie. Zelfs met een tool die naar documenten verwijst, controleer je een wetsartikel dus altijd op wetten.overheid.nl.
  • Wineburg, S., & McGrew, S. (2019). Lateral reading and the nature of expertise: Reading less and learning more when evaluating digital information. Teachers College Record, 121(11), 1–40. https://doi.org/10.1177/016146811912101102 (opent in een nieuw tabblad)
    Professionele factcheckers verlieten een bron snel om elders na te gaan of die klopte, en kwamen zo sneller tot betere oordelen dan wie zich liet leiden door een officieel uiterlijk. Dat is de werkwijze voor een AI-antwoord: niet in het antwoord zelf zoeken naar zekerheid, maar bij de officiële bron.

Les 3.3 Te snel vertrouwen

  • Alon-Barkat, S., & Busuioc, M. (2023). Human–AI interactions in public sector decision making: "Automation bias" and "selective adherence" to algorithmic advice. Journal of Public Administration Research and Theory, 33(1), 153–169. https://doi.org/10.1093/jopart/muac007 (opent in een nieuw tabblad)
    In drie Nederlandse experimenten, waarvan één met 1.345 ambtenaren, volgden deelnemers algoritmisch advies niet blinder dan menselijk advies, maar wel vaker wanneer het advies paste bij stereotypen over een groep. Te snel vertrouwen zit dus vooral in advies dat bevestigt wat je al dacht, en daar hoort je controlemoment te liggen.
  • Selten, F., Robeer, M., & Grimmelikhuijsen, S. (2023). 'Just like I thought': Street-level bureaucrats trust AI recommendations that align with their professional judgment. Public Administration Review, 83(2), 263–278. https://doi.org/10.1111/puar.13602 (opent in een nieuw tabblad)
    In een experiment met Nederlandse politiemensen werden AI-aanbevelingen vooral vertrouwd en gevolgd als ze overeenkwamen met het eigen professionele gevoel, en uitleg bij de aanbeveling veranderde daar niets aan. Dat bevestigt dat een vast controlemoment nodig is, juist bij voorstellen die vanzelfsprekend voelen.

Les 3.4 Een AI die terugvraagt

  • Buçinca, Z., Malaya, M. B., & Gajos, K. Z. (2021). To trust or to think: Cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction, 5(CSCW1), 1–21. https://doi.org/10.1145/3449287 (opent in een nieuw tabblad)
    Ontwerpen die mensen eerst zelf laten nadenken voordat ze het AI-voorstel zien, verminderden het te makkelijk overnemen van foute adviezen sterker dan uitleg bij het advies, al vonden deelnemers die ontwerpen minder prettig. Dat onderbouwt waarom een AI die eerst vragen stelt over je afweging je oordeel sterker maakt, ook als het wat meer moeite kost.

Les 3.5 AI en je werkplezier

  • Giest, S. N., & Klievink, B. (2024). More than a digital system: How AI is changing the role of bureaucrats in different organizational contexts. Public Management Review, 26(2), 379–398. https://doi.org/10.1080/14719037.2022.2095001 (opent in een nieuw tabblad)
    Aan de hand van de Nederlandse kinderopvangtoeslag en een Amerikaans uitkeringssysteem laten de auteurs zien hoe AI de taken en de rol van ambtenaren verandert, tot het vervangen van menselijk werk aan toe. Dat helpt deelnemers benoemen wat AI met hun eigen rol, zekerheid en werkdruk doet.
  • Government Digital Service. (2025). Microsoft 365 Copilot experiment: Cross-government findings report. GOV.UK. https://www.gov.uk/government/publications/microsoft-365-copilot-experiment-cross-government-findings-report (opent in een nieuw tabblad)
    Bij ruim 20.000 Britse ambtenaren in twaalf organisaties meldden gebruikers gemiddeld 26 minuten tijdwinst per dag en minder routinewerk, maar ook zorgen over onjuiste uitkomsten en over afhankelijkheid bij taken die kritisch denken vragen. Let op: de tijdwinst is zelf gerapporteerd en er was geen controlegroep, wat ook iets zegt over hoe je eigen ervaring met AI kleurt.
Je voortgang blijft alleen in deze browser.