Wissenschaft Wie KI transparenter gestaltet werden kann

Redakteur: Alina Hailer

Die Algorithmen von KI-Modellen werden zunehmend komplexer. Um mehr Transparenz zu schaffen, haben Wissenschaftler nun verschiedene Erklärungsverfahren für die Algorithmen hinsichtlich drei verschiedener Kriterien beurteilt.

Firmen zum Thema

Im Forschungsfeld der „Explainable Artificial Intelligence“ wird untersucht, wie KI-Modelle für den Anwender erklärbar gemacht werden können.
Im Forschungsfeld der „Explainable Artificial Intelligence“ wird untersucht, wie KI-Modelle für den Anwender erklärbar gemacht werden können.
(Bild: Fraunhofer IPA)

Ob als Smart Home, Gesichtserkennung im Smartphone oder Sprachassistent – Künstliche Intelligenz (KI) ist bereits ein fester Bestandteil unseres Alltags. In der Industrie wird sie beispielsweise in Fertigungsprozessen genutzt und erkennt dort Anomalien im Produktionsprozess. Hinter einer KI stecken hochkomplexe Algorithmen, die im Verborgenen agieren. Je anspruchsvoller die Aufgabe, desto komplexer wird das KI-Modell. Das Problem: Desto komplexer das Modell wird, desto undurchschaubarer wird es auch. Nur Transparenz kann dann noch Vertrauen schaffen. Um den jeweiligen Lösungsweg zu erklären, gibt es spezielle Softwarelösungen. Eine Studie des Fraunhofer IPA hat jetzt unterschiedliche Methoden verglichen und bewertet, die maschinelle Lernverfahren erklärbar machen.

Erklärungsverfahren geben Aufschluss über KI-Lösungswege

Nutzer wollen insbesondere bei kritischen Anwendungen verstehen, wie eine Entscheidungen der KI zustande kommen. Warum wurde das Werkstück als fehlerhaft aussortiert? Wodurch wird der Verschleiß meiner Maschine verursacht? Nur so sind Verbesserungen möglich, die zunehmend auch die Sicherheit betreffen.

Die Evaluation der in der Studie ausgewählten Erklärungsverfahren soll es den Lesern erleichtern, das passende Verfahren für ihren Anwendungsfall einzugrenzen.
Die Evaluation der in der Studie ausgewählten Erklärungsverfahren soll es den Lesern erleichtern, das passende Verfahren für ihren Anwendungsfall einzugrenzen.
(Bild: Fraunhofer IPA)

Um dieses Problem zu lösen, ist ein ganzes Forschungsfeld entstanden: die „Explainable Artificial Intelligence“, kurz „xAI“. Auf dem Markt gibt es inzwischen zahlreiche digitale Hilfen, die komplexe KI-Lösungswege erklärbar machen. Sie markieren etwa in einem Bild diejenigen Pixel, die dazu geführt haben, dass fehlerhafte Teile aussortiert wurden. Experten des Fraunhofer-Instituts IPA haben nun neun gängige Erklärungsverfahren wie beispielsweise LIME, SHAP oder Layer-Wise-Relevance-Propagation miteinander verglichen und mithilfe von beispielhaften Anwendungen bewertet.

Um die Erklärungsverfahren zu bewerten, wurden folgende drei Kriterien ausgewählt:

  • 1. Stabilität: Bei gleicher Aufgabenstellung soll das Programm stets dieselbe Erklärung liefern. Es darf beispielsweise nicht vorkommen, dass für eine Anomalie in einer Produktionsmaschine einmal Sensor A und ein anderes mal Sensor B verantwortlich gemacht wird. Das würde das Vertrauen in den Algorithmus zerstören und das Ableiten von Handlungsoptionen erschweren.
  • 2. Konsistenz: Geringfügig unterschiedliche Eingabedaten sollten ähnliche Erklärungen erhalten.
  • 3. Wiedergabetreue: Erklärungen müssen tatsächlich das Verhalten des KI-Modells abbilden. Es darf zum Beispiel nicht passieren, dass die Erklärung für die Verweigerung eines Bankkredits ein zu hohes Alter des Kunden benennt, obwohl eigentlich das zu geringe Einkommen ausschlaggebend war.

Whitepaper

Erklärbare KI in der Praxis - unter diesem Titel haben Experten des Fraunhofer-Instituts IPA neun gängige Erklärungsverfahren wie LIME, SHAP oder Layer-Wise Relevance Propagation in einer Studie miteinander verglichen und mithilfe von beispielhaften Anwendungen bewertet.

Zur Studie

Ausschlaggebend ist der Anwendungsfall

Das Fazit der Studie: Alle untersuchten Erklärungsmethoden haben sich als brauchbar erwiesen. Es gibt jedoch nicht die eine perfekte Methode. Große Unterschiede gibt es beispielsweise bei der Laufzeit, die ein Verfahren benötigt. Die Auswahl der besten Software ist zudem maßgeblich von der jeweiligen Aufgabenstellung abhängig. So sind etwa „Layer-Wise-Relevance-Propagation“ und „Integrated-Gradients“ für Bilddaten besonders gut geeignet. Außerdem ist auch die Zielgruppe einer Erklärung wichtig: Ein KI-Entwickler möchte und sollte eine Erklärung anders dargestellt bekommen als der Produktionsleiter, denn beide ziehen jeweils andere Schlüsse aus den Erklärungen.

(ID:47442232)