Met dank aan workshopleiders: Marcio Fuckner, Sopie Horsman & Pippa Jones
Bekend is dat AI-herkenningsmodellen fouten maken, doordat ze bijvoorbeeld niet van iedereen het gezicht juist herkennen, of de spraak niet (goed) wordt herkend. In de trainingsdata zit bias: het AI-model discrimineert. Onderzoekers en diverse mediaorganisaties hebben daarom in het DRAMA-project de handen ineen geslagen om deze vooringenomenheid van AI-modellen te onderzoeken en aan te pakken.
Zo bekijken de DRAMA-onderzoekers samen met RTL hoe je (interactieve) modelkaarten kunt inzetten om de trainingsdata van spraakherkennings AI te duiden. Dat is nu nog een black box. In zo’n kaart vind je gedetailleerde informatie over het model. De modelkaarten kunnen daarom een licht schijnen of de data representatief is op taalniveau, anderstaligheid, gender, leeftijd, etc. Net als de bijsluiter van een medicijn: wat zit erin en hoe gebruik je het?
Van blackbox naar heldere kijk
Aan de deelnemers van de break-outsessie werd gevraagd hoe de modelkaarten nog beter of interactiever kunnen: Kun je extra toetsingscriteria bedenken? Kun je modelkaarten op meerdere manieren gebruiken? Meedenken dus en aan de slag! Stiften, brainstormen, sticky notes en uitwisseling tussen aanwezigen uit verschillende sectoren. De interactieve workshop leverde vanuit verschillende groepjes bruikbare suggesties op.
Humans in the loop
Modelkaarten kunnen de consument bijvoorbeeld informeren of een mens in de automatisering betrokken is, of was het volledig AI? Iets heel anders: via een QR-code zou een beleidsmaker kunnen zien waar het AI-model nog meer gebruikt wordt voor spraakherkenning. Wat vooral sterk naar voren kwam: mogelijk kun je modelkaarten zodanig interactief inrichten dat je kunt voorselecteren op type eindgebruiker. Is dat een developer, een contract manager (service agreements!), een beleidsadviseur of … een kijker van het RTL-programma?
Want het kijkerspubliek is net zo divers als de mensheid. De trainingsdata voor AI-spraakherkenning zou dus net zo democratisch ingericht moeten zijn. De inzet van nog betere interactieve modelkaarten zou ons daar, als bijsluiter, bij moeten helpen.