Tool: SHAP
Welke vorm heeft de tool?
De tool is een python package dat gebruikt kan worden om inzicht te geven in welke elementen van de input hebben gezorgd dat een model een specifieke output geeft
Wat is het doel van de tool?
Meer inzicht geven in hoe een AI model komt tot de voorspelling
Voor wie is de tool bedoeld?
ML-engineers
Zijn er speciale vereisten of benodigdheden voor het inzetten of gebruiken van de tool?
Er is kennis nodig van Data Science, iemand moet in Python kunnen programmeren, en men moet zich inlezen in het SHAP-software pakket en hoe de informatie geïnterpreteerd kan worden. Als degene die de informatie ontvangt een eindgebruiker is, zal deze ondersteuning nodig hebben bij de duiding van de informatie die uit SHAP komt, zeker als deze persoon ook geen achtergrond heeft in data science.
Gebruikservaring: Kun je vertellen hoe je de tool in de praktijk gebruikt hebt, en met welk doel? Wat beviel er, en wat heb je ervan geleerd?
De tool helpt om inzicht te krijgen in waarom een output wordt voorspelt. Dit helpt om meer inzicht te krijgen in wat het model doet naast foutmaten zoals accuracy, F1 of recall. Hierdoor is het makkelijker om te onderzoeken waardoor false-positives en false-negatives voorkomen
Volwassenheid: is de tool een concept in ontwikkeling, of morgen inzetbaar?
Inzetbaar
Zelfstandigheid: is de tool zelfstandig te gebruiken?
Afhankelijk van of zij de benodigde achtergrondkennis hebben om zich de tool eigen te maken op basis van de beschikbare documentatie.
Bij welke richtlijn uit het RAAIT manifest sluit de tool aan?
Maak weloverwogen en transparante keuzes; Investeer gericht en neem verantwoordelijkheid
Bij welk uitgangspunt uit het RAAIT manifest sluit de tool aan?
Leg regie én verantwoordelijkheid bij de mens; Weeg impact op de korte én lange termijn
Bij welke uitdaging van Responsible Applied AI past de tool?
AI Application (Technology)
Bij welke categorie uit het DOT Framework past de tool?
Lab
Maker
Open Source
Contactpersoon van de tool
Erik Slingerland: erik.slingerland@hu.nl
Wetenschappelijke publicatie
Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. Advances in neural information processing systems, 30. https://papers.nips.cc/paper_files/paper/2017/hash/8a20a8621978632d76c43dfd28b67767-Abstract.html