Künstliche Intelligenz Neuer Algorithmus mach das Lernen von AI energieeffizienter

Anbieter zum Thema

TXOne Networks

Technische Universität Graz

Der Einsatz von Artificial Intelligence (AI) ist mit hohem Energieverbrauch verbunden. Die an der TU Graz entwickelte Lernmethode e-prop soll die Grundlage für energieeffizientere Hardware-Implementierungen von Artificial Intelligence bilden.

Vor allem bei mobilen Anwendungen ist der hohe Energieverbrauch beim Lernen von künstlichen neuronalen Netwerken eine der größten Hürden für den breiten Einsatz von Artificial Intelligence (AI). Um das Problem zu lösen, kann man von Erkenntnissen über das menschliche Gehirn lernen: Denn obwohl es die Rechenleistung eines Supercomputer besitzt, benötigt es mit 20 Watt lediglich ein Millionstel von dessen Energie. Grund dafür ist unter anderem die effiziente Informationsweitergabe zwischen Neuronen im Gehirn. Denn diese senden dazu kurze, elektrische Impulse (sog. Spikes) an andere Neuronen. Allerdings nur so oft, wie notwendig, um Energie zu sparen.

Energiebasierte Informationsverarbeitung

Diese Funktionsweise hat sich eine Arbeitsgruppe rund um die beiden TU Graz-Informatiker Wolfgang Maass und Robert Legenstein bei der Entwicklung des neuen maschinellen Lernalgorithmus e-prop (kurz für e-propagation) zu eigen gemacht: Die Forschenden des Instituts für Grundlagen der Informationsverarbeitung, die auch Teil des europäischen Leuchtturmprojekts Human Brain Project sind, nutzen in ihrem Modell Spikes zur Kommunikation zwischen Neuronen in einem künstlichen neuronalen Netz. Erst wenn die Spikes für die Informationsverarbeitung im Netzwerk gebraucht werden, werden diese aktiv. Das Lernen ist für solche wenig aktiven Netzwerke eine besondere Herausforderung, da es längere Beobachtungen braucht, um zu ermitteln, welche Neuronenverbindungen die Netzwerkleistung verbessern.

Bisherige Methoden erzielten zu geringe Lernerfolge oder erforderten enormen Speicherplatz. e-prop geht dieses Problem mit einer vom Gehirn abgeschauten dezentralen Methode an. Dabei dokumentiert jedes Neuron in einer sogenannten e-trace (eligibility trace, dt. Ereignisspur), wann seine Verbindungen genutzt wurden. Die Methode gilt als ähnlich leistungsfähig wie die besten und aufwändigsten bekannten anderen Lernmethoden.

Datenanalyse

Von deskriptiven Analysen bis Machine-Learning-Algorithmen

Online statt Offline

Normalerweise werden bei vielen der derzeit eingesetzten Machine-Learning-Techniken alle Netzwerkaktivitäten zentral du offline gespeichert. So können alle Schritte nachvollzogen werden, wie die Verbindungen während der Berechnung genutzt wurden. Dies ist jedoch mit einem ständigen Datentranfer zwischen dem Speicher und den Prozessoren verbunden, die hauptverantwortlich für den zu großen Energieverbrauch gegenwärtiger AI-Methoden sind. e-prop verzichtet auch im realen Betrieb auf eine zentrale Speicherung offline, sondern funktioniert vollkommen online. So kann das Lernen energieeffizienter ablaufen.

Triebfelder für neuromorphe Hardware

Maass und Legenstein hoffen, dass e-prop die Entwicklung einer neuen Generation von mobilen lernfähigen Rechensystemen vorantreibt, die nicht mehr programmiert werden müssen, sondern nach dem Vorbild des menschlichen Gehirns lernen und sich dadurch an laufend neue Anforderungen anpassen. Das Ziel ist es, diese Rechensysteme nicht mehr energieintensiv ausschließlich über eine Cloud lernen zu lassen. Stattdessen soll der größere Teil der Lernfähigkeit effizient in mobile Hardware-Komponenten eingebaut werden, um dadurch Energie zu sparen.

Erste Schritte, e-prop in die Anwendung zu bringen, wurden bereits gemacht: So arbeitet das Team der TU Graz gemeinsam mit der Advanced Processor Technologies Research Group (APT) der Universität Manchester im Human Brain Projekt daran, e-prop in das dort entwickelte neuromorphe SpiNNaker-System einzubauen. Gleichzeitig arbeitet die TU Graz mit Forschenden des Halbleiterherstellers Intel daran, den Algorithmus in die nächste Version von Intels neuromorphen Chip Loihi zu integrieren.

* Christoph Pelzl arbeitet im Bereich Kommunikation und Marketing der Technischen Universität Graz.

(ID:46735691)