Suchen

Expertenbeitrag

 Thomas Joos

Thomas Joos

Freiberuflicher Autor und Journalist

Grundlagen IoT-Basics: Was ist Transfer Learning?

| Autor / Redakteur: Thomas Joos / Sebastian Human

Transfer Learning soll dabei helfen, Lernvorgänge im Bereich des Machine Learnings deutlich zu verkürzen. Die Lernmethode nutzt bereits trainierte Modelle als Ausgangspunkt und kann somit schneller Ergebnisse für KI-Systeme liefern.

Firma zum Thema

Beim Transfer Learning bedient man sich vortrainierter Modelle aus anderen Kontexten, wodurch ein Mangel an Trainingsdaten kompensiert und KI folglich günstiger und leichter einsetzbar werden kann.
Beim Transfer Learning bedient man sich vortrainierter Modelle aus anderen Kontexten, wodurch ein Mangel an Trainingsdaten kompensiert und KI folglich günstiger und leichter einsetzbar werden kann.
(Bild: gemeinfrei / Pixabay )

Transfer Learning ist eine Lernmethode im Bereich Machine Learning, vor allem für Deep Learning-Projekte. Vereinfacht ausgedrückt liegt die Idee zu Grunde, dass ein Machine Learning-System seine Erkenntnisse und sein erlerntes Datenmodell an ein anderes System weitergeben kann, das diese Daten für die Analyse einer ähnlich gearteten Fragestellung nutzen kann. Dabei lassen sich auch ähnliche Quell-Modelle und deren Daten nutzen, um wiederum Daten in einem neuen Ziel-System zu verarbeiten.

Häufige Einsatzgebiete sind die Gesichtserkennung und die automatisierte Analyse von Text zur Suche von Strukturen. Ein Beispiel hierfür ist das automatische Erkennen von Hassrede in sozialen Netzwerken.

Es handelt sich dabei also um einen Wissenstransfer zwischen ML-/DL-Systemen. Fertig trainierte, neuronale Netzwerke lassen sich auf diesem Weg übertragen, um weitere Aufgaben zu übernehmen. Das Quell-System kann in diesem Zusammenhang auch auf Deep Learning aufbauen. Für künstliche Intelligenz ist Transfer Learning ein wichtiger Punkt, da Lernaufgaben wesentlich schneller abgeschlossen werden können und aufeinander aufbauen.

So funktioniert Transfer Learning

Eine wichtige Grundlage für Projekte zum Transfer Learning sind so genannte Convolutional Neural Networks (CNN). Diese Netzwerke sind eng mit Transfer-Learning-Projekten verbunden. Ein Convolutional Neural Network lernt dazu die wichtigsten Strukturen, zum Beispiel die von Gesichtern. Wird das Modell transferiert, kann das Ziel-System mit den Daten des CNN operieren und Daten auf Basis des transferierten Modells besser verarbeiten. Einfach ausgedrückt: Gesichter lassen sich so schneller erkennen. CNNs sind dem Namen nach an neuronale Netzwerke in menschlichen Gehirnen angelehnt. Sie funktionieren aber anders. Convolutional Neural Networks lösen speziell einzelne „Probleme“, allerdings deutlich schneller als das Menschen können.

Gesichtserkennung mit Transfer Learning

Im Fokus von Transfer Learning steht vor allem die Verarbeitung von Bilderdaten, zum Beispiel bei der Gesichtserkennung. Bei einem herkömmlichen Vorgang zum Bearbeiten von Bildern analysiert das System zunächst die Bilder, die als Daten-Input im System eingehen. Der Output besteht in den meisten Fällen aus verschiedenen Kategorien. Diese Verarbeitungsvorgänge dauern natürlich, da die Kategorien zuerst auf Basis der Bild-Daten erstellt werden müssen.

Transfer Learning kann die Vorgänge deutlich beschleunigen. Hier wird das System bereits mit einem trainierten Modell ausgestattet, auf das die Verarbeitung aufbauen kann. In einem Transfer Learning-System können daher auch aufwendige, vortrainierte Deep Learning-Modelle integriert werden, die eine Berechnungsbasis bilden, auf die ein Berechnungsmodell des Ziel-Systems aufbaut. Die KI-Lösung des Ziel-Systems nutzt also bereits vorhandene Modelle, die langwierig über Deep Learning erstellt wurden.

Verarbeitet ein System zum Beispiel Bilddaten für die Gesichtserkennung, kann es sinnvoll sein das System bereits mit einem trainierten Modell auszustatten, das die wichtigsten Strukturen im Gesicht kennt. Dazu gehören Knotenpunkte, Muster und andere Daten, die ohne Transfer Learning erst selbst erstellt werden müssen. Beginnt das System aber bereits mit einem Modell, das Strukturen in Gesichtern erkennt, sind die Strukturen bereits beim Beginn der Berechnung verfügbar. Dadurch kennt das System bereits die Daten von Gesichtern und kann Bilder wesentlich schneller verarbeiten und zuordnen.

Werden Bilder verarbeitet und in das System integriert, erkennt das System sehr viel schneller Gesichter. Dadurch können vorher definierte Gesichter natürlich auch schneller erkannt werden, da nur noch die Merkmale trainiert werden, die den gesuchten Gesichtern entsprechen.

Nicht nur Gesichtserkennung profitiert von Transfer Learning

Natürlich profitiert nicht nur die Gesichtserkennung von Transfer Learning. Generell sind alle Systeme geeignet, die Berechnungen durchführen müssen, die wiederum eine gemeinsame Basis haben und Beispieldaten benötigen. Sobald klar ist, dass ein System eine bestimmte Art von Daten verarbeiten soll, macht es Sinn, diesem System die Kategorien zur Verfügung zu stellen, die bearbeitet werden sollen, und die auf Basis vom Deep Learning mit genügend Beispieldaten erstellt wurden.

Vor allem wenn bestimmte Objekte in Bild- und Video-Daten erkannt werden sollen, helfen bereits trainierte Modelle dabei die Berechnungen zu beschleunigen. Beispiel können auch Produkte eines Unternehmens sein, deren Fotos in Systemen verarbeitet werden sollen. Microsoft und Google bieten vortrainierte Modelle an, deren Berechnung bereits Wochen dauern kann: Microsoft ResNet und Google Inception. Die Daten dieser Systeme lassen sich per Transfer Learning in eigene KI-Lösungen integrieren.

Wenn ein System zum Beispiel aus einer Flut von Bildern Fotos von Autos erkennen soll, bietet es sich an, der Maschine ein vortrainiertes Modell zur Verfügung zu stellen, das die Struktur von Autos bereits kennt. Neben Bilddaten lassen sich auch Sprach-, oder Textdaten dafür nutzen. Kennt ein System bereits eine bestimmte Sprache, muss es diese nicht mehr lernen, sondern kann die Input-Daten gleich auf die dazugehörige Sprache analysieren. Auf Basis der Daten können zum Beispiel Dokumente in Rechtsstreitigkeiten analysiert werden, oder Kommentare in sozialen Netzwerken. Beispiele dafür sind auf Arxiv.org der Cornell Universität zu finden.

Google bietet mit word2vec ein DL-Modell an, das für Transfer Learning genutzt werden kann. Ein weiteres Modell ist GloVe - Global Vectors for Word Representation -, das an der Stanford Universität beheimatet ist. Diese Modelle ermöglichen Lösungen für die künstliche Intelligenz auf Basis von Transfer Learning.

Vorteile von Transfer Learning

Transfer Learning bietet vor allem einen großen Vorteil: Um eine Lösung im Bereich künstliche Intelligenz zur Verfügung zu stellen, werden Trainingsdaten benötigt. Auch für die Weiterentwicklung eines Systems ist das wichtig. Diese sind in vielen Fällen nicht ausreichend vorhanden. Kann eine KI aber über Transfer Learning auf ein bereits fertiges Modell zugreifen, reichen für die Weiterverarbeitung sehr viel weniger Daten aus.

Die notwendigen Strukturen, und dafür benötigten Daten, sind bereits im Quell-Modell verfügbar und wurden durch Machine Learning, meistens durch Deep Learning erstellt. Transfer Learning hilft dabei KI-Systeme schneller bereitzustellen, vor allem dann, wenn nicht genügend Daten vorhanden sind, um das KI-System ohne Quell-Daten mit einer ausreichenden Datenmenge zu versorgen.

Grenzen von Transfer Learning

Transfer Learning ist natürlich nur dann sinnvoll, wenn die zu verarbeitenden Datensätze sehr ähnlich sind und das System auch sinnvoll genutzt werden kann. Allerdings bedeutet die Verwendung der Technologie auch die Verschärfung von Problemen. Transfer Learning ist darüber hinaus auch kein Allheilmittel. Die Daten müssen auch im Ziel-System oft noch manuell angepasst werden. Und auch TL kann Fehler machen und Daten falsch interpretieren. Es kommt durchaus vor, dass sich aus den Daten auch Probleme ergeben.

Ein Beispiel ist die Gesichtserkennung und Klassifizierung von Personen, die durchaus in rassistische und sexistische Ergebnisse abgleiten kann. Zwar sind Deep Learning-Systeme nicht rassistisch oder sexistisch, die Interpretation der Daten kann es aber sein. Ein Beispiel aus dem Jahr 2015 ist die Bilderkennung von Google. Diese hat versehentlich eine dunkelhäutige Frau mit einem Gorilla verwechselt. Wird ein solches System über Transfer Learning in ein neues System übertragen, besteht natürlich auch hier die Gefahr von Verwechslungen und einer Verschärfung von fehlerhaften Daten. Es sollte also kein blindes Vertrauen in Transfer Learning gesetzt werden.

Maschinelles Lernen wird immer mehr in der Verwaltung von Bewerbungsdaten genutzt. Hier bietet sich Transfer Learning ebenfalls an, damit auch Unternehmen, die über kleinere Datenbestände verfügen, ihre Bewerber auf Personalstellen besser analysieren können. In Untersuchen wurde festgestellt, dass es hier zu Problemen bei der Vorauswahl kommen kann, die durch die KI verschärft werden. Hier kann es schnell passieren, dass Unternehmen wegen Diskriminierung belangt werden, obwohl die Daten durch eine KI gefiltert wurden, nicht durch einen Menschen. Transfer Learning kann Datenverzerrungen deutlicher gestalten und verbreitet sie von Quell-Systemen in Ziel-Systeme.

Wichtig ist es also, sich nicht auf ein Quell-Modell zu verlassen, und dieses unreflektiert in ein Ziel-Modell über Transfer Learning zu übernehmen, sondern auch die Daten und Modelle des Quell-Systems zu berücksichtigen und zu überprüfen. Das wird natürlich dann besonders schwer, wenn eine große Anzahl an Daten verarbeitet wurde und nicht genügend Ressourcen zur Verfügung stehen, um das Quell-Modell, das transferiert wird, zu untersuchen.

Produktive Einsatzgebiete von Transfer Learning

Produktiv werden Transfer Learning Systeme vor allem im Zusammenhang mit Kommentaren in sozialen Netzwerken oder generell für Kommentare auf Online-Portalen genutzt. Bestimmte Äußerungen werden gelöscht oder gar nicht erst veröffentlicht, da sie einem bestimmten Thema entspringen. Ein Beispiel dafür ist die Hassrede. Dazu wird ein Modell entwickelt, das auf Basis von Sprachdaten Hassrede in neuen Kommentaren oder Posts erkennen kann. Das Modell wird dazu auf Basis vorhandener Textbausteine trainiert. Dabei werden nicht nur ganze Sätze zur Analyse herbeigezogen, sondern Teile von Sätzen werden analysiert und deren Kombination mit anderen Teilen errechnet. Dadurch ergibt sich eine gewisse Wahrscheinlichkeit, dass bestimmte Posts oder Kommentare zu einem errechneten Prozentsatz Hassrede enthalten. Im zweiten Schritt kann ein solches System automatisiert Beiträge löschen oder an menschliche Moderatoren melden.

Weitere Einsatzgebiete sind eine verbesserte Gesichtserkennung in vielen Bereichen, sowie bei Versicherungen für die Klassifizierung von Schäden über Fotos. Auch zur Produkterkennung bei Retouren können diese Systeme genutzt werden.

Fazit

Transfer Learning ist ideal, um Modelle die mit Deep Learning erstellt wurden, produktiv in andere KI-Systeme zu übertragen. Ziel ist es, deren Verwendung zu verbessern, oder schlicht und ergreifend erst möglich zu machen. Allerdings birgt Transfer Learning auch das Risiko, dass fehlerhafte Analysen des Quell-Modells in Ziel-Modelle ohne Prüfung übernommen werden. Dadurch bekommen vor allem die Ziel-Systeme ein Problem, da hier unter Umständen Vorschriften und Gesetze gebrochen werden.

Transfer Learning gehört in Zukunft aber sicherlich zu den Systemen, die für die Erschaffung von Lösungen mit künstlicher Intelligenz benötigt werden. Die Quell-Modelle werden mit Deep Learning erstellt und Ziel-Systeme können anschließend schneller zur Verfügung gestellt werden.

(ID:46246647)

Über den Autor

 Thomas Joos

Thomas Joos

Freiberuflicher Autor und Journalist