Springe direkt zum: Inhalt

Warum müssen KI-Systeme transparent und erklärbar sein?

Ein Interview mit Dr. Tom Kraus und Prof. Dr. André Steimers

Veröffentlicht am 08. Aug 2022

Der Einsatz von Künstlicher Intelligenz (KI) wird zukünftig eine tragende Säule der Modernisierung der Verwaltung bilden. Beschäftigte können bei ihren Aufgaben unterstützt werden und Bürger*innen von schnelleren Bearbeitungszeiten profitieren. Damit sie die Anwendungen akzeptieren und ihren Ergebnissen vertrauen, ist es jedoch wichtig, dass Beschäftigte und Bürger*innen die Entscheidungen von KI-Systemen nachvollziehen können.

Wie können die Arbeitsweisen von KI-Systemen für Menschen transparent gemacht werden? Wie kann sichergestellt werden, dass KI-gestützte Prozesse verständlich und hinterfragbar bleiben? Mit diesen und weiteren Fragen beschäftigen sich Dr. Tom Kraus von der VDI/VDE Innovation + Technik GmbH und Prof. Dr. André Steimers vom Institut für Arbeitsschutz der DGUV/RheinAhrCampus der Hochschule Koblenz. Beide referierten im November 2021 im Netzwerk KI in der Arbeits- und Sozialverwaltung zu Transparenz und Erklärbarkeit von KI-Systemen.

Herr Dr. Kraus, Herr Prof. Dr. Steimers, warum ist es so wichtig, Eigenschaften und Funktionsweisen von KI-Systemen für die Nutzer*innen der Systeme verständlich zu machen?

Grundsätzlich ist eine besondere Aufmerksamkeit dort wichtig, wo KI-Systeme Entscheidungen treffen oder zumindest beeinflussen, die Menschen oder deren Umwelt in erheblichem Maße negativ beeinträchtigen könnten. In solchen Fällen muss genau hingeschaut werden, um welche Systeme es sich handelt, da sich die Anforderungen an die Nachvollziehbarkeit je nach KI-Typ unterscheiden. Bei autonomen Systemen – das sind solche, die Entscheidungen ohne jede menschliche Aufsicht treffen – sollte unbedingt sichergestellt werden, dass gewisse vordefinierte Anforderungen an die Qualität der Systemausgaben immer erfüllt werden. Um mögliche Schadensersatzforderungen zu vermeiden, sollten solche autonomen Systeme vor Inbetriebnahme und auch danach regelmäßig und umfassend geprüft werden. Das ist meistens sehr aufwendig, wird aber erheblich erleichtert, wenn die Funktionsweise der KI-Systeme für Prüfer*innen nachvollziehbar ist. 

Bei unterstützenden Systemen, z. B. zur Vorbereitung von personenbezogenen Entscheidungen oder um wichtige Informationen aus Dokumenten zu extrahieren, müssen die jeweiligen Nutzer*innen die Ergebnisse des KI-Systems anhand der anwendungsspezifischen Anforderungen selbst bewerten oder überprüfen können. Hierfür ist zumindest eine gewisse Nachvollziehbarkeit der System-Outputs nötig. Überprüft das Fachpersonal nicht oder zu unaufmerksam, z. B. aufgrund mangelnder Nachvollziehbarkeit, verliert es die Kontrolle und das System arbeitet faktisch autonom, obwohl es nicht für diesen Zweck ausgelegt und deshalb auch nicht entsprechend geprüft ist. Das kann in der öffentlichen Verwaltung beispielsweise zu ungerechter Behandlung von Personen führen. Denn so können Fehler sehr leicht unentdeckt bleiben.

In Ihren Vorträgen haben Sie beschrieben, dass KI-Systeme transparent und erklärbar sein sollen. Man könnte meinen, beide Begriffe wären mehr oder weniger austauschbar, aber sie bezeichnen tatsächlich unterschiedliche Merkmale. Worin liegt genau der Unterschied?

Der Begriff Transparenz wird in verschiedenen Zusammenhängen unterschiedlich verwendet. Der entsprechende technische Standard definiert Transparenz als die Eigenschaft eines Systems, angemessene Informationen über seine Funktion an relevante Beteiligte weiterzugeben. Das bedeutet im Kontext von KI in der Verwaltung zum Beispiel, dass bestimmte Informationen für Bürger*innen offengelegt werden müssen. So müssen Bürger*innen beispielsweise darüber aufgeklärt werden, wenn sie mit einem KI-System interagieren, etwa einem Chatbot.

Im wissenschaftlichen Diskurs spricht man hingegen häufiger von der algorithmischen Transparenz, die sich auf den Lernprozess von KI-Systemen bezieht. Sie ist, vereinfacht gesprochen, dann gegeben, wenn das Training eines Systems bei gleichbleibenden Trainingsdaten immer zum gleichen Ergebnis führt. Das ist etwa bei vielen statistischen Lernverfahren der Fall, jedoch meist nicht bei den heute häufig zum Einsatz kommenden neuronalen Netzen. Diese neuronalen Netze werden in der Regel als „Black-Box-Modelle“ bezeichnet und weisen manchmal mehrere Millionen von Parametern auf, was sie sehr komplex und undurchsichtig macht. 

An dieser Undurchsichtigkeit setzt der Begriff Erklärbarkeit an: Es geht dabei um Ansätze, mit denen die fehlende Nachvollziehbarkeit von „Black-Box-Modellen“ gemindert werden kann. Erklärbar sind KI-Systeme dann, wenn sie die für ihre Funktion und ihre Ergebnisse entscheidenden Faktoren in einer für Menschen verständlichen Weise ausdrücken. 

Gewisse Einschränkungen können sich daraus ergeben, dass die jeweiligen „Erklärungen“ nur Teilaspekte für jeweils bestimmte Nutzer*innen nachvollziehbarer machen. Das kann in vielen Fällen ausreichend sein, um Ergebnisse eines KI-Systems für Expert*innen zu erläutern. Es lässt sich auf diese Weise aber meist nicht sicherstellen, dass diese Erklärungen auch für andere Nutzer*innengruppen nützlich sind. Informationen, mit denen Prüfer*innen oder Fachkräfte der öffentlichen Verwaltung gut zurechtkommen, können für Bürger*innen weiterhin unverständlich sein. Hinzu kommt, dass in der Regel nur einzelne Entscheidungen nachvollziehbarer gemacht werden können, aber die Funktionsweise des KI-Systems als Ganzes letztlich doch verdeckt bleibt – selbst für KI-Expert*innen. Deshalb muss immer sehr genau abgewogen werden, welche Art von Modell für eine Anwendung am besten geeignet ist. 

Das Handeln von Verwaltungen muss für die Bürger*innen transparent und nachvollziehbar sein. Wie kann gewährleistet werden, dass dies auch für KI-gestützte Prozesse in Arbeits- und Sozialverwaltungen gilt? 

Grundsätzlich sollten Verwaltungen gegenüber den jeweils betroffenen Bürger*innen immer Auskunft darüber geben können, welche personenspezifischen Daten im Rahmen eines KI-Modells bzw. eines individuellen Entscheidungsprozesses verarbeitet werden. Wenn man darüber hinaus auch eine detaillierte Nachprüfung der Entscheidungsfindung durch Bürger*innen ermöglichen wollte, wäre die Frage zu klären, inwieweit KI-Modelle tatsächlich offengelegt werden dürfen oder sollten. Generell ist eine solche Offenlegung vermutlich nur bei bestimmten, einfacheren KI-Modellen eine realistische Option, bei denen die Bewertungskriterien unstrittig und z.B. in Form von Wenn-Dann-Beziehungen ablesbar sind. Hingegen würde die Veröffentlichung von komplexen Black-Box-Modellen zumindest für Personen ohne KI-Expertise und ohne eine Aufbereitung keinen allzu großen Mehrwert bringen. Zudem müsste dann höchstwahrscheinlich eine Anlaufstelle für technische Rückfragen von Personen mit KI-Expertise geschaffen werden. Auch die Frage einer Offenlegung von Trainingsdaten muss in diesem Zusammenhang sorgfältig geprüft werden, da es sich meistens um personenbezogene Daten handelt oder solche, die unter Umständen einer Person zugeordnet werden können. In diesen Fällen wäre es möglicherweise hilfreicher zu erläutern, unter welchen Voraussetzungen eine individuell getroffene Entscheidung anders ausgefallen wäre, wofür es gewisse Erklärungsstrategien gibt. 

Herr Dr. Kraus, Sie haben Strategien untersucht, mit deren Hilfe Eigenschaften und Funktionen von KI-Systemen besser nachvollziehbar gemacht werden können. Welche Erklärungsstrategien gibt es und wie können Arbeits- und Sozialverwaltungen die richtige Strategie für sich finden und anwenden?

Zunächst sollte betont werden, dass es auch KI-Systeme gibt, die sich durch die bereits zuvor erwähnte algorithmische Transparenz auszeichnen und nicht erklärbar gemacht werden müssen. Wenn auch die Eingangsdaten solcher KI-Modelle intuitiv nachvollziehbar sind, kann man sie als selbsterklärend bezeichnen, zumindest für Personen mit einer grundlegenden Fachexpertise. Um darüber hinaus auch den Nicht-KI-Expert*innen einen tieferen Einblick in die Entscheidungsprozesse solcher Systeme zu gewähren, reichen in der Regel einfache Visualisierungen oder die Erklärung der relevanten Parameter aus. 

Deutlich anspruchsvoller ist es, die sogenannten „Black-Box-Modelle“ nachvollziehbarer zu machen, die in vielen Situationen die genauere Prognose oder das zuverlässigere Ergebnis liefern. Hier gibt es diverse Erklärungsstrategien mit sehr unterschiedlichen Ansätzen. Um zu entscheiden, welche davon geeignet ist, sollten der zu verarbeitende Datentyp, der Modelltyp und nicht zuletzt die Zielpersonen mit ihren Anforderungen an die jeweiligen Erklärungen genau betrachtet werden. Das liegt daran, dass es einerseits Verfahren gibt, die etwa besonders auf Bilddaten oder neuronale Netze zugeschnitten sind, und andererseits Nutzer*innen, die eine ganz bestimmte Art von Erklärung benötigen. 

Wir haben als VDI/VDE IT in einer vom BMWK beauftragten Studie zum Thema „Erklärbare KI“ eine Orientierungshilfe bereitgestellt, mit der Personen mit einer gewissen KI-Expertise unter den bekanntesten Ansätzen die passenden finden können. Dabei ist es das Ziel der meisten Erklärungsstrategien, diejenigen Eingabedaten hervorzuheben, die ein konkretes Ergebnis besonders stark beeinflusst haben. Das können beispielsweise die relevantesten Eingangsparameter in einem Datensatz, die maßgeblichen Bereiche in einem Bild oder die zentralen Begriffe in einem Text sein. Eine große Anzahl dieser Erklärungsstrategien setzt aber ein gewisses Vorwissen in Bezug auf den Kontext voraus, in dem das jeweilige System zum Einsatz kommt. Dementsprechend werden diese Erklärungsstrategien für die Beschäftigten in der Verwaltung in aller Regel nachvollziehbarer sein als für die Bürger*innen, die intuitivere Erklärungen benötigen, wie zum Beispiel die kontrafaktische Erklärung: Sie erläutert, welche ähnlichen Kombinationen von Eingangsdaten in konkreten Fällen zu einem anderen Ergebnis führen würden. Ein hypothetisches Beispiel dafür wäre eine nicht bewilligte Umschulungsmaßnahme, die jedoch gewährt worden wäre, wenn eine bestimmte Anzahl von Fortbildungen in einem relevanten Bereich oder ein bestimmter Bedarf für die Berufsgruppe am Wohnort vorliegen würde. Zusammenfassend lässt sich sagen, dass es nicht die eine universell einsetzbare Lösung gibt. Vielmehr muss stets sorgfältig geprüft werden, wie unter Berücksichtigung der konkreten Anwendung, der gesetzlichen Vorgaben und der Zielgruppe für eine angemessene Nachvollziehbarkeit zu sorgen ist – gerade in der Arbeits- und Sozialverwaltung, wo falsche oder unausgewogene Berechnungen von KI-Systemen zu einer Ungleichbehandlung von Personen führen können.