Tool: SHAP

Welke vorm heeft de tool?

De tool is een python package dat gebruikt kan worden om inzicht te geven in welke elementen van de input hebben gezorgd dat een model een specifieke output geeft

Wat is het doel van de tool?

Meer inzicht geven in hoe een AI model komt tot de voorspelling

Voor wie is de tool bedoeld?

ML-engineers

Zijn er speciale vereisten of benodigdheden voor het inzetten of gebruiken van de tool?

Er is kennis nodig van Data Science, iemand moet in Python kunnen programmeren, en men moet zich inlezen in het SHAP-software pakket en hoe de informatie geïnterpreteerd kan worden. Als degene die de informatie ontvangt een eindgebruiker is, zal deze ondersteuning nodig hebben bij de duiding van de informatie die uit SHAP komt, zeker als deze persoon ook geen achtergrond heeft in data science.

Gebruikservaring: Kun je vertellen hoe je de tool in de praktijk gebruikt hebt, en met welk doel? Wat beviel er, en wat heb je ervan geleerd?

De tool helpt om inzicht te krijgen in waarom een output wordt voorspelt. Dit helpt om meer inzicht te krijgen in wat het model doet naast foutmaten zoals accuracy, F1 of recall. Hierdoor is het makkelijker om te onderzoeken waardoor false-positives en false-negatives voorkomen

AI Literacy
Participative AI
AI Governance
AI Application
Wereld verbeteren
Risico verminderen
Inspiration
Data
Expertise
Fit
Overview
Certainty

Volwassenheid: is de tool een concept in ontwikkeling, of morgen inzetbaar?

Inzetbaar

Zelfstandigheid: is de tool zelfstandig te gebruiken?

Afhankelijk van of zij de benodigde achtergrondkennis hebben om zich de tool eigen te maken op basis van de beschikbare documentatie.

Bij welke richtlijn uit het RAAIT manifest sluit de tool aan?

Maak weloverwogen en transparante keuzes; Investeer gericht en neem verantwoordelijkheid

Bij welk uitgangspunt uit het RAAIT manifest sluit de tool aan?

Leg regie én verantwoordelijkheid bij de mens; Weeg impact op de korte én lange termijn

Bij welke uitdaging van Responsible Applied AI past de tool?

AI Application (Technology)

Bij welke categorie uit het DOT Framework past de tool?

Lab

https://github.com/shap/shap 

Maker

Open Source

Contactpersoon van de tool

Erik Slingerland: erik.slingerland@hu.nl 

Wetenschappelijke publicatie

Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. Advances in neural information processing systems, 30. https://papers.nips.cc/paper_files/paper/2017/hash/8a20a8621978632d76c43dfd28b67767-Abstract.html