Wie Big Data Ihre IoT-Lösung beeinflusst

Die Zahl der mit dem Internet verbundenen Geräte wird sich bis 2025 voraussichtlich verdreifachen. Dementsprechend schließt sich das IoT der Reihe von wichtigen Big-Data-Quellen an. Das veranlasst die Datenexperten dazu, ihre Aufmerksamkeit auf Big Data im IoT zu richten.

Die Natur von Big Data im Internet der Dinge

Big Data im IoT unterscheidet sich deutlich von anderen Typen von Big Data. Um sich ein klares Bild zu machen, stellen Sie sich ein Sensornetzwerk vor, das kontinuierlich Daten generiert. In der Produktion handelt es sich zum Beispiel um Temperaturwerte von einem bestimmten Maschinenteil, sowie Vibrationen, Schmierung, Feuchtigkeit, Druck und vieles mehr. Also, Big Data im IoT ist maschinengeneriert, nicht von Menschen erzeugt. Und das stellt hauptsächlich keine großen Portionen von Texten, sondern den Fluss von Zahlen dar.

Stellen Sie sich nun vor, dass jeder Sensor 5 Messungen pro Sekunde erzeugt (insgesamt sind 1.000 Sensoren installiert). Und diese großen Datenmengen fließen unaufhörlich (übrigens haben solche Daten einen speziellen Namen - Streaming-Daten). Auf jeden Fall gehört die reine Datensammlung nicht zu Ihrem obersten Ziel – Sie benötigen wertvolle Einsichten, von denen einige so ähnlich wie möglich zu Echtzeit sind. Wenn der Druck plötzlich ein kritisches Niveau erreicht, wird das Sie nicht freuen, wenn Sie darüber erst in ein paar Stunden erfahren. Zu diesem Zeitpunkt hat Ihr Wartungsteam möglicherweise bereits versucht, eine beschädigte Maschine zu reparieren.

Außerdem sind IoT-Daten orts- und zeitspezifisch. Obwohl es zahlreiche Beispiele gibt, werden wir hier nur ein paar erwähnen: Standortdaten sind äußerst erforderlich, um zu verstehen, welcher der Sensoren die Messwerte übermittelt, die wahrscheinlich einen bevorstehenden Fehler signalisieren. Ein Zeitstempel ist dabei von Bedeutung, um ein bestimmtes Muster zu identifizieren, das einen Maschinenausfall verursachen kann. Zum Beispiel steigt die Temperatur alle 10 Sekunden um 5°C an, ohne einen Schwellenwert zu überschreiten, was zu einem Druckanstieg um 1.000 Pa für eine Minute führt.

Speicherung, Vorverarbeitung und Analyse von Big Data im Internet der Dinge

Natürlich hängt die Lösungsarchitektur immer von Ihren Geschäftszielen ab. Die Natur von Big Data im IoT prägt jedoch, wie Daten gespeichert, vorverarbeitet und analysiert werden. Betrachten wir spezifische Eigenschaften von jedem Prozess genauer.

Speicherung von Big Data im IoT

Da Sie große Mengen an schnell eintreffenden strukturierten und unstrukturierten Daten in unterschiedlichen Formaten behandeln müssen, wird ein herkömmliches Data Warehouse Ihre Anforderungen nicht erfüllen. Sie benötigen einen Data Lake (Datensee) und ein Big-Data-Warehouse. Ein Data Lake kann in mehreren Zonen, z. B. eine Landing Zone (für Rohdaten in ihrem ursprünglichen Format), eine Staging Zone (für die Daten nach einer einfachen Reinigung und Filterung und für Rohdaten aus anderen Datenquellen) sowie analytisches Sandbox (für Data Science und explorative Aktivitäten). Ein Warehouse für Big Data ist erforderlich, um die Daten aus einem Datensee zu extrahieren, zu transformieren und strukturiert zu speichern.

Vorverarbeitung von Big Data im IoT

Es ist wichtig zu entscheiden, ob Sie rohe oder bereits vorverarbeitete Daten speichern möchten. Diese Frage richtig zu beantworten ist eigentlich eine der Herausforderungen, die im Zusammenhang mit IoT und Big Data steht. Lassen Sie uns zu unserem Beispiel mit einem Sensor zurückkehren, der 5 Temperaturwerte pro Sekunde übermittelt. Eine Option ist, alle 5 Messwerte zu speichern, während die andere darin besteht, nur einen Wert zu speichern, wie z. B. ihren Mittelwert/Medianwert/Modalwert pro Aggregationszeit von einer Sekunde. Um deutlich zu sehen, welchen Unterschied ein solcher Ansatz zur benötigten Speicherkapazität macht, sollten Sie die Gesamtanzahl der Sensoren mit ihrer erwarteten Laufzeit und dann mit ihrer Lesefrequenz multiplizieren.

Wenn es auch zu Ihrem Plan gehört, Einsichten in Echtzeit zu gewinnen, ist es immer noch möglich, Warnmeldungen in Echtzeit zu erhalten, ohne alle Messwerte an den Datenspeicher zu senden. Zum Beispiel nimmt Ihr System den gesamten Datenfluss auf, und Sie legen kritische Schwellenwerte oder Abweichungen fest, die sofortige Warnungen auslösen. Dennoch werden nur einige gefilterte oder komprimierte Daten an den Datenspeicher gesendet.

Möglichkeiten, Datenverluste zu vermeiden

Es ist auch notwendig, im Voraus darüber nachzudenken, was passiert, wenn der Messwertfluss aus irgendeinem Grund unterbrochen wird, zum Beispiel wegen eines vorübergehenden Sensorausfalls oder eines Verlustes seiner Verbindung mit dem Gateway.

Hier sind zwei Ansätze möglich:

• Verwendung von robusten Algorithmen, für die Datenauslassungen nicht kritisch sind.
• Verwendung von redundanten Sensoren, z. B. mit mehreren Sensoren dieselben Parameter zu messen. Das erhöht einerseits die Zuverlässigkeit: fällt ein Sensor aus, senden die anderen weiterhin ihre Messwerte. Auf der anderen Seite erfordert dieser Ansatz kompliziertere Analysen, weil die Sensoren leicht unterschiedliche Werte erzeugen können, was durch analytische Algorithmen verarbeitet werden sollte.

Analyse von Big Data im IoT

Big Data im IoT erfordert zwei Arten von Analysen: Batch und Streaming. Die Batch-Analyse ist von allen Typen von Big Data untrennbar, und Big Data im IoT ist keine Ausnahme. Sie wird häufig verwendet, um eine komplexe Analyse der erfassten Daten durchzuführen, um Trends, Korrelationen, Muster und Abhängigkeiten zu identifizieren. Die Batch-Analyse umfasst ausgeklügelte Algorithmen und statistische Modelle, die auf historische Daten angewendet werden.

Die Streaming-Analyse deckt alle Besonderheiten von Big Data im IoT perfekt ab. Sie wurde entwickelt, um Hochgeschwindigkeitsdatenströmen zu behandeln, die in kleinen Zeitintervallen erzeugt werden, und um Einblicke in nahezu Echtzeit zu liefern. Für verschiedene Systeme variiert dieser "Echtzeit"-Parameter. In einigen Fällen kann es in Millisekunden gemessen werden, während in den anderen - in einigen Minuten. Um Erkenntnisse so schnell wie möglich zu erhalten, können die erfassten Daten ohne Schreiben auf einem Datenträger oder sogar in einem Daten-Streaming-Prozessor analysiert werden.

Zusammenfassend

Von Natur aus ist Big Data in Verbindung mit dem Internet der Dinge maschinengeneriert, großvolumig, streaming-, orts- und zeitspezifisch. Die Big-Data-Beratungspraxis zeigt, wie wichtig es ist, diese Features vor der Entwicklung und der Implementierung einer IoT-Lösung zu berücksichtigen. Wir sind sicher, dass Sie nicht wollen, in ein paar Monaten keinen Speicherplatz mehr haben oder Echtzeit-Einblicke verpassen, nur weil Ihre Lösung keine Streaming-Analysen unterstützt. Oder ein anderes Problem haben, das die Robustheit Ihrer IoT-Lösung beeinträchtigt. Um das zu vermeiden, müssen Sie Ihre kurzfristigen und langfristigen Geschäftsanforderungen klar identifizieren und sehr sorgfältig eine optimale Big-Data-Architektur und einen Technologie-Stack aus mehreren Optionen auswählen.