3 Schritte zur Compliance-Einschätzung von KI basierten Entscheidungen

Sie erinnern sich an die drei „What can go wrong“ Phänomene des letzten Blog Artikels?

• Regel-Blackbox
• Out-of-Context Bias
• Feedback-Loop Bias

Denn in diesem Artikel nutzen wir die Phänomene, um eine Vorgehensweise für eine compliance-orientierte Einschätzung von KI gestützten Entscheidungen in Unternehmen abzuleiten.

Doch bevor wir damit loslegen, benötigen wir noch eine Abgrenzung:

Wann ist denn überhaupt KI in einem Unternehmen im Einsatz? Verschiedene im Umlauf befindliche Begriffe wie Künstliche Intelligenz, Data Mining, Machine Learning oder Data Science machen eine Abgrenzung schwierig. Es macht jedoch keinen Sinn, diese Begriffe oder gar die verwendeten Methoden für die Definition von KI im Unternehmen heranzuziehen.

Deshalb wollen wir von einem KI-Einsatz im Unternehmen sprechen, wenn Entscheidungen im Unternehmen automatisch von Maschinen getroffen werden, zunächst unabhängig von Methode und Technologie. Insofern soll auf die Frage nach der Compliance von automatischen Entscheidungen im Unternehmen abgezielt werden.

Schritt 1: KI-Inventur

Der erste Schritt für eine compliance-orientierte Bewertung von KI im Unternehmen ist die KI-Inventur. Dies ist schlicht eine Liste von Anwendungen von KI, die im Unternehmen verwendet wird. Von einer Anwendung von KI im Unternehmen kann man jeweils dann sprechen, wenn folgende Kriterien erfüllt sind:

1. Autonomie: Die Anwendung entscheidet maschinell autonom oder unterstützt eine menschliche Entscheidung erheblich, sodass mindestens eine wesentliche maschinelle Beeinflussung vorliegt.
2. Betriebswirtschaftliche Relevanz: Es handelt sich bei der Entscheidung nicht bloß um eine Entscheidung zur technisch richtigen Abwicklung von Geschäftsvorfällen, sondern die Entscheidung hat betriebswirtschaftliche / unternehmerische Relevanz oder Einfluss auf die Organisation.
3. Lernen: Die Art und Weise der maschinellen Entscheidungsfindung beruht nicht lediglich auf statischen Regeln („if-then-else-Verkettungen“), sondern das Entscheidungskalkül wurde durch die Verarbeitung von Trainingsdaten zunächst durch die Maschine erlernt.
4. Möglichkeit der dynamischen Anpassung: Die Art und Weise der Entscheidungsfindung könnte regelmäßig angepasst werden, da laufend neue Daten für ein erweitertes Training des verwendeten Algorithmus hinzukommen.

Wenn eine Anwendung die vier Kriterien erfüllt, so nehmen Sie diese in ihre KI-Inventur auf. Für jede Anwendung macht die Inventarisierung der folgenden Merkmale Sinn:

1. Name der KI-Anwendung
2. Fachliche Verantwortlichkeit (Bereich/Abteilung)
3. Beschreibung der wirtschaftlichen Entscheidung, die die KI trifft / unterstützt.
4. Klassifizierung: KI beeinflusst eine Kundenbeziehung oder hat Auswirkung auf interne Vorgänge.

Schritt 2: KI Risk Scoping

Im zweiten Schritt bauen Sie auf Ihrer erstellten KI-Inventur auf und stufen die KI-Anwendungen im Sinne einer Risikoeinschätzung ab. Nutzen Sie ein einfaches Schema für eine Risikoeinstufung der KI-Anwendung, z.B.: kleines, mittleres, hohes Risiko. Denken Sie in Szenarien, was die betriebswirtschaftliche oder auch rechtliche Folge sein könnte, wenn die KI versagen würde oder Fehleinschätzungen produzierte. KI-Anwendungen mit Auswirkung auf eine Kundenbeziehung sollten tendenziell mit einem höheren Risiko versehen werden. Für jede Anwendung in ihrer KI-Inventur könnten folgende Informationen vermerkt werden:

1. Die gewählte Risikoeinschätzung
2. Szenarien von Folgen, wenn die KI Fehleinschätzungen machen würde
3. Beschreibung von Einflüssen auf im Unternehmen verwendeten Kennzahlen durch die KI

Schritt 3: KI Compliance Assessment

Im dritten Schritt wird jede KI-Anwendung einer detaillierten Bewertung unterzogen. Im Rahmen der vorgeschlagenen Vorgehensweise geschieht hier ein Rückgriff auf die geschilderten „what-can-go-wrong“-Phänomene Regel-Blackbox, Out-Of-Context Bias und Feedback-Loop Bias. Nach der Einschätzung sollte man wissen, ob eine KI-Anwendung das Risiko von Non-Compliance hat aufgrund der 3 „what-can-go-wrong“-Phänomene.

Der Compliance-Manager sollte sich vorher über den regulatorischen Rahmen gewahr werden, um zu verstehen, mit welchen gesetzlichen Vorgaben der Einsatz von KI im Unternehmen in Konflikt geraten kann. An dieser Stelle seien – ohne Anspruch auf Vollständigkeit – zwei Beispiele genannt:

1. Das Allgemeine Gleichbehandlungsgesetz (AGG) beschreibt gleich in § 1 AGG die Merkmale, die für eine Gleichbehandlung wichtig sind: „Ziel des Gesetzes ist, Benachteiligungen aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität zu verhindern oder zu beseitigen.“ Diese Merkmale können – neben anderen – auch in den Trainingsdaten für eine KI verwendet werden (z.B. bei der automatischen Beurteilungen von Bewerbern auf eine Stelle). Es wird somit die Frage aufgeworfen: Entstehen durch den Einsatz von KI Diskriminierungen oder können die Merkmale unaufgeregt verwendet werden?
2. Datenschutz Grundverordnung (DSGVO): Laut Art. 13 und 14 DSGVO gilt bei der Verarbeitung personenbezogener Daten eine strenge Informationspflicht gegenüber den davon Betroffenen. Hierzu zählt auch der Zweck und die Rechtsgrundlage der Verarbeitung. Personenbezogene Merkmale können sich in den Trainingsdaten einer KI wiederfinden. Es wird somit die Frage aufgeworfen: Ist der vereinbarte Zweck der Nutzung so weit auszulegen, dass die Verwendung der personenbezogenen Daten zum Anlernen einer KI erlaubt ist?

Jetzt können die „what-can-go-wrong“-Phänomene und der regulatorische Rahmen verbunden werden. Jede KI-Anwendung in der KI-Inventur sollte nun beleuchtet werden. Es wird empfohlen jeweils die drei Bereiche Kontext, Methode und Daten der KI-Anwendung einzuschätzen.

Gehen Sie den folgenden Fragen jeweils für die KI-Anwendung nach.

1. Kontext

• Ist der Kontext während der Entwicklung / des Trainings der KI vergleichbar mit dem Kontext während der Anwendung / Betrieb der KI? Wenn Nein: Verdacht auf Out-of-Context Bias.
• Gehen die Ergebnisse der KI unmittelbar oder mittelbar (z.B. durch Schlussfolgerung für eine Handlung) wieder als Eingangsdaten in die KI ein (z.B. zeitversetzt)? Wenn ja: Verdacht auf Feedback-Loop Bias

2. Methode

Die Beleuchtung der KI-Methode oder auch Technologie zielt auf die Nachvollziehbarkeit („Explainability“) der erzeugten KI-Entscheidung durch einen Menschen ab.

• Inwieweit kann man der KI entnehmen, wie groß die Wirkung eines bestimmten Merkmals ist? Wenn Aussagen hierzu schwierig sind: Verdacht auf Regel-Blackbox
• Inwieweit kann man der KI entnehmen, wie groß die Wechselwirkung zwischen zwei bestimmten Merkmalen ist? Wenn Aussagen hierzu schwierig sind: Verdacht auf Regel-Blackbox
• Kann man der KI entnehmen, ob ein Merkmal als (statistisch) signifikant einzuschätzen ist? Wenn Aussagen hierzu schwierig sind: Verdacht auf Regel-Blackbox

3. Daten

Die Trainingsdaten bestimmen das Verhalten der KI.

• Verwendet die KI Merkmale, die zu Diskriminierung führen könnten (abgeleitet aus dem regulatorischem Kontext)? Wenn ja, weitere Fragen:
  • Ist das kritische Merkmal im gleichen Verhältnis ausgeprägt wie in einer angemessenen Vergleichsgrundgesamtheit (z.B. könnten Frauen in den Trainingsdaten unterrepräsentiert sein)? Wenn ja: Verdacht auf Regel-Blackbox
  • Entscheidet sich die KI-Anwendung gleich, wenn man in den Trainingsdaten die kritischen Merkmale entfernt? Wenn ja: weitere Detailanalysen notwendig, ggfs. Verdacht auf Regel-Blackbox
• Werden in den Trainingsdaten personenbezogene Merkmale verwendet? Wenn ja: Inventarisieren, um gem. DSGVO auskunftsfähig zu sein.
• Wie ist die Datenqualität? Achten Sie insbesondere auf die Häufigkeit von „Missing Values“, d.h. unvollständige Datensätze (z.B. unbekanntes Alter). Häufig werden „Missing Values“ vor Verarbeitung in einer KI mit einem „Best Guess“ aufgefüllt (sog. Statistische Imputation). Ein solcher „Best Guess“ bildet das statistisch Erwartbare ab und unterdrückt unbekannte, aber vorhandene Diversität. Bei umfangreichen „Missing Values“, insbesondere bei kritischen Merkmalen im Hinblick auf Diskriminierung gilt: Verdacht auf Regel-Blackbox

Fazit

Der Artikel hat mögliche Probleme des Einsatzes von KI im Unternehmen aufgezeigt und anhand von Fällen und Beispielen plastisch dargestellt. Aufbauend auf diesen Erkenntnissen wurde ein 3-Schritte Vorgehensmodell für die compliance-orientierte Bewertung von Anwendungen von KI vorgeschlagen. Dabei lag der Fokus auf konsequenter Anwendung des Vorgehensmodells in der Praxis.

Abschließend seien noch zwei Quellen als Hilfestellung zum Umgang mit KI im Unternehmen genannt.

• AI Fairness 360 Open Source Toolkit von IBM (http://aif360.mybluemix.net)
• Gender Shades Projekt Bias in KI (http://gendershades.org)