GovGPT Academy

Hoofdstuk 12. Jouw AI-aanpak

Les 12.2 Een nieuwe AI-tool beoordelen

Kennisclip 2:27 GovGPT - Medewerker HEAR Reasoned Responsibility
Wat je in deze les laat zien

Je beoordeelt een nieuwe tool op nut, kwaliteit, privacy, kosten, het overheidsbrede standpunt en de risicoklasse in de AI-verordening.

De video laadt pas als je op afspelen klikt. YouTube draait dan in de privacyvriendelijke modus.

Lees het transcript

Hoi! Fijn dat je er weer bent. Er komen steeds nieuwe AI-tools bij, vaak met mooie beloftes. Vraagt een collega of jullie er een mogen gebruiken, dan wil je een goed antwoord kunnen geven. In deze les beoordeel je een nieuwe tool op nut, kwaliteit, privacy, kosten, het overheidsbrede standpunt en de risicoklasse in de AI-verordening.

Een tool die aan de AI-verordening voldoet, verdient daarmee nog niet vanzelf vertrouwen. Kijk dus ook naar je eigen situatie. En vraag door. Veel modellen die zich open noemen, houden informatie over hun trainingsdata achter. Het overheidsbrede standpunt raadt Europese toepassingen aan, en vraagt eerst een risicoanalyse. Valt een tool onder bijlage III, zoals bij uitkeringen en voorzieningen, dan is hij hoog risico. Behalve als hij alleen een smalle procedurele of voorbereidende taak doet, en niet profileert. Leg je oordeel vast, zodat je organisatie goed kan besluiten. AI helpt, jij beslist.

Laten we het proberen in GovGPT, met GovGPT Medewerker. Mijn team in het verzonnen Heidevoort wil de verzonnen tool BijstandSorteer. Die sorteert aanvragen voor bijzondere bijstand, en noemt welke stukken ontbreken. GovGPT raadt eerst een kleine, gecontroleerde pilot aan, en loopt alle punten langs, van een DPIA tot de echte kosten. Bij de AI-verordening zegt het dat puur administratief ordenen mogelijk geen hoog risico is. Laat het wel formeel classificeren. Dan vraag ik of de uitzondering van artikel 6 lid 3 geldt, en wie bij ons beslist. GovGPT zegt waarschijnlijk wel, maar alleen zonder profilering en zonder invloed op de uitkomst. En de gemeente beslist, niet de consulent alleen.

Dit werkte goed, want GovGPT bereidde het oordeel voor, en legde het besluit bij de gemeente. Eén controlepunt. Of de uitzondering geldt, hangt af van hoe de tool echt werkt. Laat juridische zaken en de privacy officer dat toetsen. Vraag de leverancier ook waar de gegevens staan, en of ze worden gebruikt voor training.

Nu ben jij aan de beurt. Kies een tool die je organisatie overweegt, of het voorbeeld bij de opdracht. Laat GovGPT de tool langs alle punten lopen, ook de risicoklasse. Zet de vragen voor de leverancier op een rij, via de opdracht onder deze video. Veel succes, en tot in de volgende les!

Probeer het in GovGPT

  1. Kies een AI-tool die je organisatie overweegt, of gebruik het voorbeeld hieronder (verzonnen).
  2. Open GovGPT en kies GovGPT - Medewerker. Vraag om een beoordeling op alle zes punten.

Voorbeeld om te plakken:

Mijn team bij de verzonnen gemeente Heidevoort wil een verzonnen AI-tool gebruiken die openbare raadsstukken doorzoekt en samenvat. De leverancier zit in Nederland en vraagt 3 euro per gebruiker per maand. Help me de tool te beoordelen op nut, kwaliteit, privacy, kosten, het overheidsbrede standpunt voor generatieve AI en de risicoklasse in de AI-verordening. Houd het kort. Geen tabel.

  1. Vraag daarna: "Welke vragen stel ik de leverancier, en wie in mijn organisatie beslist of we de tool mogen gebruiken? Houd het kort. Geen tabel."
  2. Zet de vragen voor de leverancier op een rij, en leg je oordeel voor aan wie in jouw organisatie over nieuwe tools beslist, bijvoorbeeld de privacy officer, de CISO of juridische zaken.

Tip. In de test met het voorbeeld stelde GovGPT eerst drie vragen (alleen openbare stukken, gegevens binnen de EER en niet voor training, geen beoordeling van personen) en vond de tool bruikbaar als zoekhulp, mits je altijd de originele raadsstukken controleert. Of een tool onder de uitzondering van artikel 6 lid 3 valt, hangt af van hoe hij echt werkt. Dat laat je juridisch toetsen.

Waar doe je deze opdracht?

In GovGPT via je organisatie

Werkt je organisatie met GovGPT? Log in via de link die je van je organisatie hebt gekregen en kies GovGPT - Medewerker. Weet je de link niet, vraag het dan aan je leidinggevende of de servicedesk.

GovGPT voor je organisatie

Nog geen GovGPT? Je organisatie kan GovGPT afnemen, met de privacyafspraken die daarbij horen. Gebruik voor deze opdracht geen gegevens van inwoners buiten die afspraken.

GovGPT voor je organisatie (opent in een nieuw tabblad)

Geen GovGPT?

Dan kun je de opdracht doen in de AI-omgeving die je organisatie heeft toegestaan. We kunnen niet garanderen dat het daar net zo goed werkt als in GovGPT. Je mist bijvoorbeeld de rollen voor overheidswerk en het vaste blok met verificatiestappen onder elk antwoord. Gebruik geen consumententool voor je werk, dat sluit aan bij het overheidsbrede standpunt over generatieve AI.

Checkvragen

1. Een nieuwe tool voldoet aan de AI-verordening. Wat betekent dat volgens de les?
2. Een AI-model noemt zich open. Wat doe je volgens de les?
3. Een tool valt onder bijlage III van de AI-verordening, zoals bij uitkeringen en voorzieningen. Wanneer is hij toch geen hoog risico?
4. Wie beslist volgens de clip of de verzonnen tool BijstandSorteer gebruikt mag worden?
5. Welke vraag stel je volgens de les aan de leverancier?

Reflectie

Je antwoord blijft alleen in deze browser. Voor je certificaat telt een antwoord van minstens 20 tekens. Zo bewaar je je voortgang.

Bronnen bij deze les

  • Laux, J., Wachter, S., & Mittelstadt, B. (2024). Trustworthy artificial intelligence and the European Union AI act: On the conflation of trustworthiness and acceptability of risk. Regulation & Governance, 18(1), 3–32. https://doi.org/10.1111/rego.12512 (opent in een nieuw tabblad)
    Op basis van een literatuurreview over vertrouwen in AI bij de publieke sector betogen de auteurs dat de AI-verordening betrouwbaarheid gelijkstelt aan aanvaardbaar risico, en dat een tool die aan de wet voldoet daarom nog niet vanzelf het vertrouwen van burgers verdient. Wie een nieuwe tool beoordeelt, kijkt dus naar de risicoklasse en naar nut, kwaliteit en privacy in de eigen situatie.
  • Liesenfeld, A., & Dingemanse, M. (2024). Rethinking open source generative AI: Open washing and the EU AI Act. In Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (pp. 1774–1787). ACM. https://doi.org/10.1145/3630106.3659005 (opent in een nieuw tabblad)
    De auteurs beoordeelden meer dan 45 generatieve AI-systemen op 14 kenmerken van openheid en vonden dat veel modellen die zich open noemen hooguit hun gewichten delen en informatie over trainingsdata achterhouden. Bij het beoordelen van een tool vraag je daarom door op wat de leverancier echt openbaar maakt, in plaats van op een label te vertrouwen.

In de bronnenclip Bronnen bij hoofdstuk 12 licht Pascal toe waar de lessen van dit hoofdstuk op steunen.

Je voortgang blijft alleen in deze browser.