Kommentar von Dr. Aleksandra Klofat Die wichtigsten Typen neuronaler Netze für Deep Learning

Anbieter zum Thema

NetModule AG

Trebing & Himstedt Prozeßautomation GmbH & Co. KG

wherever SIM GmbH

Künstliche neuronale Netze sind zentraler Bestandteil von Deep-Learning-Algorithmen. Die Grundlage in der Architektur der künstlichen neuronalen Netze bilden künstliche Neuronen, die in mehreren Schichten – sogenannten Layers – aufeinander folgen.

In der Praxis haben sich einige Varianten von künstlichen neuronalen Netzen etabliert. Je nach praktischer Anforderung werden sie für verschiedene Anwendungsfälle eingesetzt.

Feedforward Neural Networks

Eine der bekanntesten Architekturen ist das sogenannte Feedforward Neural Network. Dieses Netz besteht meistens aus mehreren Schichten von Neuronen, die nacheinander geordnet sind (sogenanntes mehrschichtiges Feedforward-Netz). Im Fall von mehrschichtigen Feedforward-Netzen sind die jeweiligen Schichten nur mit den Nachbar-Schichten verbunden.

Wie der Name bereits sagt, bewegt sich die Datenleitung in einem Feedforward-Netz zwischen den künstlichen Neuronen in einer einfachen Linie: von der Eingabeschicht (Input Layer) zu den verdeckten Schichten (Hidden Layers) bis zu der Ausgabeschicht (Output Layers).

Convolutional Neural Networks

Convolutional Neural Networks (CNN) werden insbesondere im Bereich Bildbearbeitung eingesetzt. Im Fall von CNN gibt es (ähnlich wie bei den mehrschichtigen Feedforward-Netzen) mehrere Schichten (Layers), die aufeinander folgen. Dabei gibt es hier drei Arten von Schichten: Convolutional Layer, Pooling Layer und Fully-Connected Layer.

Die Datenverarbeitung läuft in mehreren Schritten ab. Convolutional Layers stehen am Anfang und extrahieren die Merkmale aus dem Bild. Dabei extrahieren und identifizieren die tieferen Convolutional Layers immer komplexere Merkmale. Darauf folgt eine weitere Schicht, der sogenannte Pooling Layer. Die Pooling-Schicht reduziert die Dimensionen, um die erforderliche Rechenleistung zu minimieren. Generell folgt auf jede Convolutional-Schicht eine Pooling-Schicht. Am Ende werden die berechneten Daten entsprechend klassifiziert und eingeordnet. Das macht die letzte Schicht: Fully-Connected Layer.

Künstliche Intelligenz

Welches Potenzial hat die Kombination von KI und physikalischen Modellen?

Recurrent Neural Networks

Im Gegensatz zu Feedforward-Netzen sind die künstlichen Neuronen in Rekurrenten Neuronalen Netzen (RNN) rückgekoppelt. Vereinfacht gesagt wird das Output eines künstlichen Neurons wieder als Input bei demselben oder zuvor verwendeten Neuron eingespeist (sogenannter Feedback Loop). So können die RNN Information innerhalb eines künstlichen Neurons beibehalten. Insofern verfügen die RNN über eine Art von Gedächtnis.

Aufgrund dieser Eigenschaft sind RNN sehr gut dazu geeignet, sequenzielle Daten zu verarbeiten – wie zum Beispiel Sprache, aber auch generell Zeitreihendaten. Aus diesem Grund werden sie oft in der Sprachverarbeitung (Natural Language Processing, NLP) angewandt sowie auch bei Prognosen und Schätzungen.

Aufgrund des Memory Loops sind die RNN nicht leicht zu trainieren. Vereinfacht gesagt: Je mehr Schichten in einer RNN-Architektur vorkommen, desto schwieriger ist es, unter anderem die Gewichtungen anzupassen (sogenannte Vanishing Gradient Problem). Als Lösung für diese Probleme gibt es verschiedene Versionen der RNN-Architektur, wie Long Short Term Memory (LSTM) oder Gated Recurrent Unity (GRU).

Transformer-Netzwerke

Eine der neuesten Entwicklungen im Bereich künstlicher neuronalen Netze, die schnell an Bedeutung gewinnt, sind die Transformer-Netzwerke. Transformers wurden im Bereich der Sprachverarbeitung (Natural Language Processing, NLP) entwickelt. Die bekanntesten NLP Modelle auf der Transformer-Basis sind: BERT und GPT-3. Zunehmend werden sie aber auch in anderen Bereichen, insbesondere im Bereich Bildverarbeitung, sehr populär. Im Vergleich zu anderen neuronalen Netzen, wie beispielsweise RNN, benötigen Transformer weniger Rechenkapazität, was sie sehr effizient im Einsatz macht.

Die Funktionsweise der Transformers ist relativ komplex. Vom Prinzip, ähnlich wie RNN, sind sie für die Verarbeitung sequenzieller Daten optimal, wie Sprache oder Zeitreihen. Die Grundlage der Funktionsweise der Transformer bilden mehreren Serien von Autoencoder: Encoder (Kodierer) und Decoder (Dekodierer). Vereinfacht dargestellt nimmt die Encoder-Schicht die Daten auf und verarbeitet sie in eine Vektorrepräsentation. Die Decoder-Schicht entschlüsselt die Output-Daten und liefert ein Ergebnis.

Neben den Autoencodern ist ein weiterer wichtiger Bestandteil der Transformer die sogenannte Attention. Vom Prinzip entscheidet die Attention, welcher Teil der eingegebenen Sequenz wichtig ist. Der Attention-Prozess gewichtet die Daten nach ihrer Bedeutung.

Digitale Zukunft: Das selbstfahrende Unternehmen

Wie Sie heute Künstliche Intelligenz (KI) nutzen können

Generative Adversarial Networks (GAN)

Generative Adversarial Networks bilden eine besondere Gruppe der künstlichen neuronalen Netze. Im Gegensatz zu den anderen Netzen erzeugen die GAN aus Input neue Daten. Das bekannteste Beispiel für GAN ist die Erzeugung von Fotoportraits von fiktiven Menschen.

GAN basieren generell auf anderen künstlichen neuronalen Netzen wie Convolutional Neural Networks oder Recurrent Neural Networks. Sie bestehen vom Prinzip aus zwei Arten von Netzen: Generatoren und Diskriminatoren. Die Generatoren generieren neue Daten und die Diskriminatoren bewerten, ob diese Daten realitätsnah aussehen.

Als Output kommt ein Datenpunkt, zum Beispiel ein realitätsnahes Portrait, welches eine fiktive Person darstellt. In der Praxis werden GAN deswegen oft in der Kunst (insbesondre bei der Erstellung von Bildern und Zeichnungen) eingesetzt.

Kommentar

Blick ins künstliche Gehirn: Warum erklärbare KI im Ingenieurswesen immer wichtiger wird

Dieser Beitrag ist ursprünglich auf unserem Partnerportal BigData Insider erschienen.

* Dr. Aleksandra Klofat ist Data Scienist und bloggt zum Thema Data Science und Statistik auf datenverstehen.de.

(ID:48975878)