GovGPT Academy

Hoofdstuk 6. Beleid en bestuur

Les 6.5 Recent onderzoek voor beleid

Kennisclip 2:05 GovGPT - Beleidsadviseur
Wat je in deze les laat zien

Je laat GovGPT via webzoeken recent onderzoek vinden en controleert of de bronnen bestaan en kloppen.

De video laadt pas als je op afspelen klikt. YouTube draait dan in de privacyvriendelijke modus.

Lees het transcript

Hoi! Fijn dat je er weer bent. Voor beleid wil je weten wat recent onderzoek zegt. Met webzoeken vindt GovGPT snel bronnen. Maar een bron die genoemd wordt, is nog geen bron die klopt. In deze les laat je GovGPT recent onderzoek vinden, en controleer je of de bronnen bestaan en kloppen.

Bij AI-zoekmachines bleek maar ongeveer de helft van de zinnen volledig gedekt door de genoemde bronnen. En in ander onderzoek was een groot deel van de literatuurverwijzingen van ChatGPT verzonnen. Daarom open je elke bron zelf. Bestaat hij, van wie is hij, en staat het er echt? Let ook op het soort bron. Een evaluatie van een gemeente is iets anders dan een nieuwsbericht. Pas dan gebruik je hem in je beleidsstuk. AI helpt, jij beslist.

Laten we het proberen in GovGPT, met GovGPT Beleidsadviseur. Ik zet webzoeken aan, en vraag naar recent onderzoek over een autoluwe binnenstad, winkels en bezoekers. GovGPT noemt vier bronnen, waaronder evaluaties uit Sneek en Ootmarsum, en een rapport van het KiM. Het zegt er zelf bij dat hard bewijs over omzet beperkt is. Dan vraag ik wat het eerste onderzoek precies zegt over omzet en bezoekers. GovGPT citeert dat de bezoekersaantallen stabiel bleven, maar dat citaat komt uit een nieuwsbericht, niet uit het rapport.

Dit werkte goed, want GovGPT zei eerlijk dat het geen omzetcijfers vond. Eén controlepunt. Ik heb de bronnen zelf geopend. De evaluaties en het KiM-rapport bestaan, de publicatie van Strabo vond ik niet terug. In het rapport uit Sneek staat dat de bezoekersaantallen stabiel bleven, en ook dat sommige ondernemers omzetdaling ervoeren.

Nu ben jij aan de beurt. Kies een beleidsvraag uit je werk, of het voorbeeld bij de opdracht. Laat GovGPT met webzoeken recent onderzoek zoeken, met titel, uitgever, jaar en link. Open elke bron zelf, en kijk of het er echt staat, via de opdracht onder deze video. Veel succes, en tot in de volgende les!

Probeer het in GovGPT

  1. Kies een beleidsvraag uit je werk, of gebruik het voorbeeld hieronder.
  2. Open GovGPT en kies GovGPT - Beleidsadviseur. GovGPT zoekt bij zo'n vraag zelf op internet. Je mag webzoeken ook zelf aanzetten, maar het hoeft niet. Dat doe je onder het invoerveld met de knop met de schuifjes, bij Webzoekopdracht. Vraag om recent onderzoek met titel, uitgever, jaar en link.

Voorbeeld om te plakken:

Zoek op internet naar recent onderzoek, uit 2023 of later, naar het effect van een buurtbus op eenzaamheid bij ouderen in Nederland. Noem per onderzoek de titel, de uitgever, het jaar en de link. Houd het kort. Geen tabel.

  1. Open elke link zelf. Bestaat de bron, wie heeft hem gemaakt, en is het een onderzoek, een evaluatie, een nieuwsbericht of een mening?
  2. Vraag daarna wat één bron precies zegt, en zoek dat zinnetje zelf op in de bron. Staat het er niet, gebruik het dan niet.

Tip. In de test met het voorbeeld zei GovGPT eerlijk dat het geen onderzoek vond dat het effect van een buurtbus op eenzaamheid meet, en noemde het wel verwante stukken. Ook dat is een bruikbaar antwoord. Een bron die je niet zelf hebt geopend, hoort niet in een beleidsstuk.

Waar doe je deze opdracht?

In GovGPT via je organisatie

Werkt je organisatie met GovGPT? Log in via de link die je van je organisatie hebt gekregen en kies GovGPT - Beleidsadviseur. Weet je de link niet, vraag het dan aan je leidinggevende of de servicedesk.

GovGPT voor je organisatie

Nog geen GovGPT? Je organisatie kan GovGPT afnemen, met de privacyafspraken die daarbij horen. Gebruik voor deze opdracht geen gegevens van inwoners buiten die afspraken.

GovGPT voor je organisatie (opent in een nieuw tabblad)

Geen GovGPT?

Dan kun je de opdracht doen in de AI-omgeving die je organisatie heeft toegestaan. We kunnen niet garanderen dat het daar net zo goed werkt als in GovGPT. Je mist bijvoorbeeld de rollen voor overheidswerk en het vaste blok met verificatiestappen onder elk antwoord. Gebruik geen consumententool voor je werk, dat sluit aan bij het overheidsbrede standpunt over generatieve AI.

Checkvragen

1. Wat bleek bij AI-zoekmachines over de genoemde bronnen?
2. Wat liet ander onderzoek zien over literatuurverwijzingen van ChatGPT?
3. Je opent een bron die GovGPT noemt. Wat check je?
4. GovGPT citeert dat de bezoekersaantallen stabiel bleven, maar dat citaat komt uit een nieuwsbericht en niet uit het rapport. Wat leer je daarvan?
5. In de clip was één genoemde publicatie niet terug te vinden. Wat doe je met zo'n bron?

Reflectie

Je antwoord blijft alleen in deze browser. Voor je certificaat telt een antwoord van minstens 20 tekens. Zo bewaar je je voortgang.

Bronnen bij deze les

  • Liu, N., Zhang, T., & Liang, P. (2023). Evaluating verifiability in generative search engines. In Findings of the Association for Computational Linguistics: EMNLP 2023 (pp. 7001–7025). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.findings-emnlp.467 (opent in een nieuw tabblad)
    Bij vier AI-zoekmachines werd gemiddeld maar ongeveer de helft van de zinnen volledig gedekt door de genoemde bronnen, en ondersteunde ongeveer een kwart van de bronvermeldingen de zin niet waar ze bij stond, terwijl de antwoorden wel betrouwbaar oogden. Ook met webzoeken open je dus elke bron voordat je die in een beleidsstuk gebruikt.
  • Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, Artikel 14045. https://doi.org/10.1038/s41598-023-41032-5 (opent in een nieuw tabblad)
    Van 636 literatuurverwijzingen van ChatGPT bleek 55 procent (GPT-3.5) en 18 procent (GPT-4) verzonnen. Dat maakt de controle of een onderzoek echt bestaat en zegt wat AI beweert tot een vaste stap bij beleidsonderzoek.

In de bronnenclip Bronnen bij hoofdstuk 6 licht Pascal toe waar de lessen van dit hoofdstuk op steunen.

Je voortgang blijft alleen in deze browser.