EduGPT Academy

Hoofdstuk 6. AI en de samenleving

Les 6.2 Vooroordelen in AI

Kennisclip 2:02 EduGPT - Student MAILS Ethiek AILit Engage, Shape
Wat je in deze les laat zien

Je vindt een voorbeeld van vooroordeel in AI-uitvoer en legt uit waar het vandaan komt.

Lees het transcript

Hoi! Fijn dat je er weer bent. AI lijkt neutraal, het is tenslotte een computer. Maar AI leert van mensen, en neemt zo ook onze vooroordelen over. In deze les vind je een voorbeeld van vooroordeel in AI-uitvoer, en leg je uit waar het vandaan komt.

Een vooroordeel in AI is een scheef patroon: een groep mensen wordt anders behandeld, zonder goede reden. Het komt vaak uit de trainingsdata: teksten en beelden waarin groepen vaker of anders voorkomen. Vraag je niets over een kenmerk, dan vult AI het zelf in, met het patroon dat het meest voorkomt. Onderzoek liet zien: AI-detectoren hielden teksten van niet-moedertaalsprekers van het Engels vaak ten onrechte voor AI-tekst. Zulke vooroordelen zie je niet altijd meteen, dus zoek er bewust naar.

Laten we het proberen in EduGPT, met EduGPT Student. Ik vraag een afbeelding van vier mensen op hun werk: piloot, verpleegkundige, directeur en schoonmaker. Ik noem geen geslacht. Toch zijn piloot en directeur mannen, en is de verpleegkundige een vrouw. Ik vraag waar dat vandaan komt. EduGPT zegt eerlijk: niet uit jouw opdracht, maar uit stereotypen in trainingsbeelden. Dan leg ik het zelf uit: het model leert van bestaande beelden, en daarin zijn piloten vaker mannen. EduGPT vraagt door: spelen ook onderschriften en menselijke voorkeuren mee?

En wat gaat er vaak mis? We zien één afbeelding en denken: dat is toeval. Probeer het vaker en vergelijk. Ik kreeg drie keer hetzelfde patroon. En vraag niet alleen wat er scheef is, maar ook waar het vandaan komt.

Nu ben jij aan de beurt. Laat EduGPT een afbeelding maken van mensen aan het werk. Kijk wat AI zelf invult, zoals geslacht, leeftijd of afkomst. Leg in eigen woorden uit waar dat vandaan komt, via de opdracht onder deze video. Veel succes, en tot in de volgende les!

Probeer het in EduGPT

  1. Open EduGPT en kies EduGPT - Student.
  2. Laat EduGPT een afbeelding maken van mensen aan het werk. Noem alleen de beroepen, niet of het een man of een vrouw is, en ook geen leeftijd of afkomst. Kies zelf drie of vier beroepen, bijvoorbeeld zo.

Genereer een afbeelding van drie mensen op hun werk: een ingenieur, iemand die in de kinderopvang werkt en een programmeur.

  1. Kijk goed naar de afbeelding. Wat heeft AI zelf ingevuld? Let op geslacht, leeftijd, afkomst, kleding en wie er de baas lijkt. Schrijf op wat je ziet.
  2. Maak de afbeelding nog een of twee keer opnieuw, met dezelfde vraag. Zie je steeds hetzelfde patroon, of was het toeval?
  3. Vraag EduGPT waar het patroon vandaan komt, en geef je eigen uitleg erbij.

Wat ik zie ... Ik vroeg niet om een geslacht. Mijn uitleg ... Klopt mijn uitleg, en wat mis ik nog?

  1. EduGPT geeft je vooral vragen terug, bijvoorbeeld welke rol je eigen vraag speelt en of ook onderschriften bij de trainingsbeelden meetellen. Gebruik die vragen om je uitleg beter te maken.
  2. Schrijf je uitleg in twee delen. Waar komt het patroon vandaan? En hoe zie je het terug in de afbeelding?
  3. Vraag tot slot hoe je dit zelf kunt voorkomen, bijvoorbeeld als je een afbeelding maakt voor een presentatie.

Hoe kan ik dit voorkomen als ik zelf een afbeelding maak voor een presentatie?

Tip. Een vooroordeel is niet altijd zo zichtbaar als in een afbeelding. Het kan ook in een tekst zitten, in wie AI als voorbeeld kiest, of in een advies. Ben je leerkracht of docent, doe de opdracht dan ook eens met een beschrijving van een leerling of student, en kijk wat AI zelf invult. Gebruik daarbij geen echte gegevens.

Waar doe je deze opdracht?

Via je school of opleiding

Heb je EduGPT via je school of opleiding? Log in via de link die je daar hebt gekregen en kies EduGPT - Student.

EduGPT voor je school

Wil je EduGPT met je team of je studenten gebruiken? Dan regelt je school het, met de privacyafspraken die daarbij horen. Gebruik voor je voorbereiding geen gegevens van studenten buiten die afspraken.

EduGPT voor je school (opent in een nieuw tabblad) Kosteloos proberen komt binnenkort

Geen toegang tot EduGPT?

Dan kun je de opdracht ook in je eigen AI-tool doen. We kunnen niet garanderen dat het daar net zo goed werkt als in EduGPT. Je mist bijvoorbeeld de Kritisch Denken Engine, die eerst vragen terugstelt in plaats van meteen het antwoord te geven.

Checkvragen

De checkvragen bij deze les volgen nog.

Reflectie

Je antwoord blijft op dit scherm en wordt nergens opgeslagen.

Bronnen bij deze les

  • Hofmann, V., Kalluri, P. R., Jurafsky, D., & King, S. (2024). AI generates covertly racist decisions about people based on their dialect. Nature, 633(8028), 147–154. https://doi.org/10.1038/s41586-024-07856-5 (opent in een nieuw tabblad)
    Taalmodellen bleken verborgen vooroordelen te hebben over sprekers van Afro-Amerikaans Engels en adviseerden hen vaker voor minder aanzienlijke banen en vaker tot veroordeling, terwijl de openlijke uitspraken van dezelfde modellen juist positief waren. Dat laat zien dat vooroordelen uit trainingsdata kunnen komen en niet altijd zichtbaar zijn aan de oppervlakte.
  • Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), Artikel 100779. https://doi.org/10.1016/j.patter.2023.100779 (opent in een nieuw tabblad)
    AI-detectoren bestempelden teksten van niet-moedertaalsprekers van het Engels vaak ten onrechte als door AI geschreven. Het is een herkenbaar voorbeeld uit het onderwijs van hoe een AI-systeem bepaalde groepen benadeelt.

In de bronnenclip Bronnen bij hoofdstuk 6 licht Pascal toe waar de lessen van dit hoofdstuk op steunen.

Je voortgang blijft alleen in deze browser.