Uitlegbare Kunstmatige Intelligentie (XAI) heeft als doel om duidelijk te maken hoe AI-systemen werken en wat hun uitkomsten zijn. Steeds meer mensen erkennen dat het belangrijk is dat uitleggen gericht is op de gebruiker, omdat dit afhangt van hoe mensen uitleggen begrijpen. Toch is er binnen de onderzoeksgemeenschap geen overeenstemming over de vraag of het belangrijk is om gebruikers te laten evalueren en, zo ja, wat ze precies moeten beoordelen en hoe.
Deze systematische literatuurreview onderzoekt deze kwestie en biedt een overzicht van hoe we XAI vanuit een mensgericht perspectief kunnen evalueren. We hebben 73 artikelen bekeken waarin XAI met gebruikers werd getest. Deze studies keken naar wat een uitleg “goed” maakt voor gebruikers, oftewel wat een uitleg betekenisvol maakt voor iemand die een AI-systeem gebruikt.
We hebben 30 belangrijke onderdelen van goede uitleggen gevonden die in de artikelen zijn besproken. Deze hebben we ingedeeld in een overzicht dat laat zien hoe we mensgerichte XAI kunnen evalueren, gebaseerd op: (a) de kwaliteit van de uitleg in de context, (b) hoe de uitleg helpt bij de interactie tussen mens en AI, en (c) hoe de uitleg bijdraagt aan de prestaties van mens en AI.
Onze analyse liet ook zien dat er weinig standaardisatie is in de manieren waarop XAI-gebruikersstudies worden uitgevoerd; slechts 19 van de 73 artikelen gebruikten een evaluatiekader dat ook in andere studies was toegepast. Deze verschillen maken het moeilijk om studies met elkaar te vergelijken en om bredere inzichten te krijgen.
Onze bevindingen helpen om te begrijpen wat uitleggen betekenisvol maakt voor gebruikers en hoe we dit kunnen meten. Dit kan de XAI-gemeenschap helpen om een meer uniforme aanpak te ontwikkelen voor het uitleggen aan mensen.
Auteurs: Kim, J., Maathuis, H., & Sent, D.,
Lees de publicatie hier