Smart Factory

Komplexe IIoT-Projekte auf Azure realisieren

| Autor / Redakteur: Jodok Batlogg / Sebastian Human

Intelligente Datenbank-Konzepte ermöglichen die kostengünstige und flexible Nutzung offener Komponenten auf Basis einer Cloud-Plattform wie Microsoft Azure.
Intelligente Datenbank-Konzepte ermöglichen die kostengünstige und flexible Nutzung offener Komponenten auf Basis einer Cloud-Plattform wie Microsoft Azure. (Bild: gemeinfrei / Unsplash)

Die Realisierung komplexer IoT-Projekte in der Industrie eröffnet gänzlich neue Perspektiven im Hinblick auf die Effizienz und Verfügbarkeit von Fertigungsanlagen, stellt auf der anderen Seite aber auch extreme Anforderungen an die Infrastruktur.

Nicht selten müssen Millionen von Sensordaten an unterschiedlichsten Standorten in Echtzeit erfasst, integriert und analysiert werden, um das Verhalten des gesamten Systems zu überwachen und zu steuern. Intelligente Konzepte ermöglichen die kostengünstige und flexible Nutzung offener Komponenten auf Basis einer Cloud-Plattform wie Microsoft Azure. Den Kern bildet ein entsprechendes Datenmanagementsystem.

Industrielles IoT ist in erster Linie ein extremer Anwendungsfall für die Verarbeitung von Zeitreihendaten. Dezentrale Fertigungsstandorte mit Hunderten von Automaten, Energienetze oder Fahrzeugflotten generieren kontinuierlich massive Datenmengen, die erst in ihrer Korrelation als Zeitreihe für weitergehende Aktivitäten nutzungsfähig sind.

Bei großen Produktionsunternehmen fallen oftmals täglich hunderte Millionen von Sensordaten aus einer Vielzahl von einzelnen Fabriken und Produktionslinien an. Dabei sind mehr als tausend verschiedener Tabellenformate pro Anwendung keine Seltenheit, ebenso Terabyte an zu speichernden Datenmengen und unterschiedlichste Formate wie relationale Daten, JSON Docs, BLOBs und so weiter.

Vom guten Gedanken zur gelungenen Umsetzung

Während die Aufgabe leicht zu definieren ist – nämlich die Erfassung aller relevanten Daten, deren zeitgerechte Analyse, sowie die Entwicklung daraus resultierender Maßnahmen – ist die Realisierung entsprechender Lösungen um einiges schwieriger. Nach wie vor ist Produktion im höchsten Maße produkt- und marktspezifisch und abhängig vom jeweiligen Grad der Automatisierung und der generellen IT-Orientierung des Unternehmens.

Entsprechende IIoT-Lösungen gibt es nicht von der Stange, sondern sie sind nach wie vor in hohem Maße maßgeschneidert. Allerdings hält der Markt Alternativen bereit, um komplexe Anwendungen auf Basis verfügbarer Softwarekomponenten und verbreiteter Cloud-Dienste zu entwickeln - mit beträchtlichem Einfluss auf die Investitionen und die Betriebskosten.

Anwender stehen deshalb bei der Realisierung komplexer IoT-Projekte vor grundlegenden Entscheidungen – von der kompletten Eigenentwicklung im Unternehmensnetz bis hin zur Nutzung von Open-Source-Komponenten in der Cloud. Mit einem guten skalierbaren SQL Cloud Sevice für Azure bietet sich die Möglichkeit, umfassende Smart-Factory-Anwendungen kostengünstig und auf Basis anerkannter Schnittstellen zu realisieren.

Das operationale Gehirn: intelligentes Datenmanagement

Smart Factory

Das operationale Gehirn: intelligentes Datenmanagement

10.11.18 - Um intelligentes Datenmanagement möglichst effektiv nutzen zu können, muss man verstehen, wie sich moderne Datenbankarchitekturen, KI und IoT-Netzwerke zu einem neuen Datenmanagementparadigma verbinden lassen. lesen

Datenmanagement als Schlüsseltechnologie

Die intelligente Nutzung der enormen Datenmengen benötigt weit mehr als lediglich die einfache Aggregation von Zeitreihen. Gefordert sind vielmehr eine parallele Verarbeitung in Echtzeit, komplexe Analysen auf Basis von Methoden der künstlichen Intelligenz sowie eine grenzenlose elastische Skalierung. Konventionelle Datenbanken für Time-Series wurden für das Monitoring von Zeitreihen im IT-Umfeld entwickelt und sind aufgrund ihrer Architektur kaum in der Lage, die Anforderungen an komplexe IIoT-Projekte zu erfüllen. Das betrifft insbesondere die Performance bei hoher Belastung, die Integration mit anderen Systemen oder den Support mehrerer gleichzeitiger Nutzer.

Eine Möglichkeit, den Datenmassen und ihrer unterschiedlichen Datenformate Herr zu werden, liegt demnach im Einsatz mehrerer Datenbanken, was zwangsläufig zu Mehraufwand bei der Entwicklung und beim Handling führt. Moderne Datenmanagementkonzepte für Zeitreihenverarbeitung setzen deshalb auf eine Architektur, die die Vorzüge von SQL-Datenbanken (der Standard SQL-Sprache) mit den Vorteilen einer NoSQL-Lösung kombiniert.

Für komplexe IIoT-Anwendungen müssen Millionen von Sensordaten an unterschiedlichsten Standorten in Echtzeit erfasst, integriert und analysiert werden, um das Verhalten des gesamten Systems zu überwachen und zu steuern.
Für komplexe IIoT-Anwendungen müssen Millionen von Sensordaten an unterschiedlichsten Standorten in Echtzeit erfasst, integriert und analysiert werden, um das Verhalten des gesamten Systems zu überwachen und zu steuern. (Bild: Crate.io)

Bei Lösungen wie der CrateDB handelt es sich um eine verteilte SQL-Datenbank, die auf einer NoSQL-Architektur aufsetzt und dadurch den Komfort von SQL für das Processing jedweder strukturierten oder unstrukturierten (JSON-) Datentypen nutzen kann, um SQL-Anfragen wie selbst JOINs oder Aggregates in Echtzeit auszuführen. Dynamische Schemata machen es extrem einfach, neue Datentypen oder Indizes hinzuzufügen. Die Datenbank ist in der Lage, beliebig kleine wie große Workloads zu bewältigen. Die Architektur erlaubt eine horizontale Skalierung auf Server-Clustern zur Erfassung von Millionen von Daten pro Sekunde und Hunderte von Terabyte Clustergröße - wobei der typische Fall sich am Anfang zwischen 1.000 -10.000 Operationen/Sekunde und einigen hundert Gigabyte bewegt.

Die verteilte Verarbeitung, die Daten-Partitionierung sowie die In-Memory-Indizes liefern Antworten auf Zeitreihenanfragen in Millisekunden, selbst dann, wenn viele Clients gleichzeitig auf der Datenbank arbeiten, zum Beispiel bis zu 10.000 gleichzeitige Connections pro Server-Knoten. Die NoSQL (JSON) Storage- und Indexing-Technologie unterhalb der SQL-Engine ermöglicht die Entwicklung von Datenmodellen unter Beibehaltung der Applikationslogik.

Verfügt die Datenbank über ein Standard ANSI SQL-Interface und Postgres-Protokoll-Kompatibilität ist sie zudem einfach in komplexe Anwendungen zu integrieren, etwa mit Tools, die JDBC, ODBC, Postgres oder HTTP (REST) nutzen. Schnittstellen verbinden diese mit Grafana, Apache Kafka, Flink und anderen verbreiteten Komponenten des IIoT-Ecosystems.

Fully-Managed-Service

Ein nützliches Feature ist es auch, wenn eine solche Datenbank als fully-managed Cloud-Service auf Microsoft Azure genutzt werden kann, um komplexe IIoT-Projekte zu realisieren. Steht der Kundenservice hierzu 24/7 bereit, verspricht das eine deutlich höhere Price-Performance-Relation, unlimitierte Skalierung sowie eine Plug&Play-Integration für die Realisierung von IoT-Projekten. Natürlich kann eine entsprechend gute Lösung auf jeder beliebigen Azure VM-Instanz auch selber deployed werden, um Industrial-Time-Series-Anwendungen umzusetzen.

Die Integration fußt im Idealfall auf den bereitgestellten Schnittstellen zu Azure IoT Hub und Azure Event Hub, sowie den anderen Schnittstellen wie MQTT, Postgres Wire Protocol, JDBC sowie REST. Auf dieser Basis lassen sich individuell auf die jeweiligen Anforderungen zugeschnittene komplexe Lösungen in der Cloud erstellen, indem gleichzeitig die Kosten für eigene physikalische Infrastrukturen minimiert werden.

Mit den Event Hubs, dem IoT-Hub und IoT Edge Angebot stellt Microsoft auf Azure skalierbare Dienste bereit, die große Datenmengen beliebiger angeschlossener Geräte erfassen, puffern und für Folgeanwendungen bereitstellen können. Eine durchdacht gebaute Datenbank ermöglicht dabei die Speicherung großer Datenmengen in unterschiedlichen Formaten in Echtzeit (Millisekunden) und ist über Standard-SQL ansprechbar.

Die Azure Event Hubs sind eine Streamingplattform für Big-Data, die Millionen von IoT-Ereignissen beliebiger verteilter Geräte empfangen und verarbeiten kann. Die Event Hubs bilden somit innerhalb einer Pipeline der Verarbeitung von Ereignissen von der Entstehung bis zu einer notwendigen Reaktion durch die Analyse-Ergebnisse eines Folgesystems die erste Stufe der Data-Ingestion. Event Hubs entkoppeln den Erzeuger eines Datenstroms von der späteren Verarbeitungsinstanz.

Azure Event Hubs und IoT Hubs erfüllen konzeptionell die gleichen Aufgaben als Gateway für Big-Data, allerdings hat Microsoft in den IoT Hub weiterreichende Funktionen im Hinblick auf das Internet of Things eingebaut. Das betrifft etwa die unterstützten Protokolle wie MQTT, die Verwaltung gerätespezifischer Identitäten oder auch die bidirektionale Kommunikation.

In-Memory-Datenbanken sind der Wegbereiter für BI und IoT

Datenanalyse

In-Memory-Datenbanken sind der Wegbereiter für BI und IoT

08.11.18 - Die Menge an Daten wächst rasant und es ist längst kein Problem mehr, diese zu speichern. Sollen diese Informationen einen unternehmerischen Mehrwert liefern, müssen sie schnell und unkompliziert den für die Auswertung eingesetzten Anwendungen zur Verfügung gestellt werden. lesen

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45849955 / Internet of Things)