Personalisierte KI KI kann komplexe Gesten erkennen

Um Geräte besser bedienbar zu machen, entwickeln Forscher eine KI, die individuelle Gesten erkennt. Ein Demonstrator ist jetzt fertiggestellt.

Anbieter zum Thema

MPDV Mikrolab GmbH

Schneider Electric GmbH

TXOne Networks

Fraunhofer IMS Duisburg

Forscher wollen eine personalisierte Künstliche Intelligenz (KI) entwickeln, die sich mittels Training auf individuelle Nutzer einstellen kann und so beispielsweise individuelle Gesten erkennt. Dahinter steckt das Fraunhofer-Institut für Mikroelektronische Schaltungen und Systeme IMS.

Um das Potential einer solchen KI zu verdeutlichen, existiert bereits ein Demonstrator, der auch schon auf Messen gezeigt wurde. Der Demonstrator kann in die Luft geschriebene Zahlen erkennen und einen entsprechenden Befehl kabellos an einen Roboterarm senden. Der Nachteil dieses Demonstrators: Die Gesten müssen von dem Nutzer so ausgeführt werden, wie sie vortrainiert wurden.

Doch für eine intuitive Benutzung ist es praktisch, wenn man individuelle Gesten direkt in dem System eintrainieren kann, ohne dass ein PC oder ein anderes Gerät nötig ist. Genau dies wurde mit dem neuen Demonstrator umgesetzt.

Für die Realisierung wurde das „Arduino Nano 33 BLE Sense“-Entwicklungsboard genutzt. Für die Gestenerkennung nutzten die Forscher nur die Beschleunigungswerte des integrierten, neunachsigen Inemo Inertial Module (IMU). Ein OLED-Display gibt dem Nutzer Feedback während des Trainings. Bedient wird der Demonstrator mit einem einfachen Taster.

Wie der Demonstrator funktioniert

Beim Start kann der Nutzer den Demonstrator in den Lernmodus versetzen. Dann wird der Nutzer durch den Trainingsablauf geleitet, wo er Trainingsdaten für bis zu zehn Gesten aufnehmen kann. Die Anzahl wird durch den Speicher des Mikrocontrollers begrenzt.

Der Nutzer sollte jede Geste etwa vier Mal wiederholen. Nach jeder ausgeführten Geste werden die Rohdaten ausgewertet und nur die nötigen Merkmale als Trainingsdaten zwischengespeichert. Der Algorithmus, der die Merkmale extrahiert, sorgt für eine enorme Datenreduktion.

Nachdem alle gewünschten Gesten gezeigt wurden, wird die nötige Netzstruktur berechnet und das passende künstliche neuronale Netz gebildet und trainiert. Die Netzstruktur ist abhängig von der Gestenanzahl, da jede Geste eine Klasse bildet und diese jeweils durch ein Output-Neuron abgebildet wird.

Nach dem Training kann der Lernerfolg über den Lernfehler verifiziert werden und die Netzstruktur, sowie die optimierten Gewichte, werden abgespeichert. Das Training von beispielsweise drei Gesten benötigt 2 Sekunden.

Nach dem Training ist der Demonstrator im Inferenz-Modus, um Gesten zu erkennen. Das Erkennen dauert etwa 20 bis 100 ms auf der genutzten Hardware – die Länge ist abhängig davon, wie lang eine Geste ist, bzw. wie viele Messwerte aufgenommen werden.

Mögliche Anwendungen:

• Erkennung von komplexen Gesten und Bewegungen

• Auswertung von Bewegungsabläufen

• Freihändige Steuerung von Maschinen

• Intuitive Steuerung von Wearables

• Automatische Steuerung von medizinischen Geräten

• HMI für Spieleanwendungen

• Smart Building-Anwendungen

(ID:47374076)