Umfassender Leitfaden für Big Data Analytics in Echtzeit

Während sowohl Echtzeit-Analyse als auch Big Data im Trend sind, scheint es, dass die Echtzeit-Analyse von Big Data (eine Kombination von beiden) eine sehr vielversprechende Initiative sein sollte und viele Unternehmen es begehren sollten. Lassen wir uns herausfinden, ob das wirklich so ist.

Dieser Artikel ist reich an Beispielen der Big Data Analytics von Kundendaten in Echtzeit. Wir haben das aus Gründen der Einfachheit und Konsistenz getan. Es gibt jedoch mehrere Bereiche, in denen Echtzeit-Datenanalysen angewendet werden können.

Wollen wir erst den Begriff definieren

Wenn Sie vorhaben, diesen Abschnitt zu überspringen, weil Sie der Meinung sind, dass es zwei Definitionen für den Begriff „Echtzeit“ nicht geben kann, wundern Sie sich also bitte nicht, aber es gibt. Tatsächlich ist die Definition von Echtzeit extrem vage, und sie unterscheidet sich von Unternehmen zu Unternehmen oder, genauer gesagt, von Aufgabe zu Aufgabe bei einem Unternehmen.

Unser Beratungsteam hat die folgende Definition ausgedacht:

Big Data Analytics  in Echtzeit bedeutet, dass Big Data verarbeitet wird, sobald es ankommt, und entweder ein Geschäftsanwender einsetzbare Erkenntnisse erhält, ohne einen Zeitraum für die Entscheidungsfindung zu überschreiten, oder ein Analysesystem eine Aktion oder Benachrichtigung auslöst.

Da der Begriff „in Echtzeit“ oft mit „unverzüglich“ verwechselt wird, wollen wir die Zeitrahmen für Dateneingabe und -reaktionszeiten erläutern. Was die Dateneingabe betrifft, kann die Echtzeit-Verarbeitungsengine gestaltet sein, Daten entweder zu bekommen (Push-System) oder anzufragen (Pull-System). Das am weitesten verbreitete Beispiel ist eine Push-Option mit fortlaufenden großen Datenmengen (auch bekannt als Streaming). Die Echtzeit-Verarbeitungsengine ist jedoch nicht immer in der Lage, Streaming-Daten aufzunehmen. Alternativ kann sie entwickelt werden, um Daten zu ziehen, indem es gefragt wird, ob irgendwelche neuen Daten angekommen sind. Die Zeit zwischen solchen Abfragen hängt von den  Geschäftsanforderungen ab und kann von Millisekunden bis zu Stunden variieren.

Dementsprechend variiert auch die Reaktionszeit. Zum Beispiel erfordert ein selbstfahrendes Auto eine sehr schnelle Reaktionszeit - nur einige Millisekunden. Wenn wir beispielsweise mit Sensoren arbeiten, die in einer Windkraftanlage installiert sind und eine langsam ansteigende Öltemperatur im Getriebe melden, die immer noch unter dem kritischen Level liegt, aber höher als normal ist, benötigen wir eine Minute Reaktionszeit, um die Blattsteigung zu ändern und somit die Turbine zu entladen und einen Maschinenausfall oder sogar Brand zu vermeiden. Das analytische System einer Bank würde aber einige Minuten brauchen, um die Kreditwürdigkeit eines Antragstellers zu beurteilen. Und die dynamische Preisgestaltung eines Händlers kann bis zu einer Stunde dauern. Dennoch werden alle diese Anwendungsfälle als Bespiele für Echtzeitsysteme betrachtet.

Big Data Analytics in Echtzeit als Wettbewerbsvorteil

Nicht alle Unternehmen setzen auf Big Data Analytics in Echtzeit. Das könnte verschiedene Ursachen haben: Mangel an Fachwissen oder unzureichende Mittel, Angst vor den damit verbundenen Herausforderungen oder die fehlende Bereitschaft des gesamten Managementteams. Unternehmen, die Echtzeit-Analysen implementieren, können allerdings einen Wettbewerbsvorteil erzielen.

Angenommen, Sie sind ein Mode-Einzelhändler, der den Vorteil vom erstklassigen Kundendienst nutzen möchte. Die Big Data Analytics in Echtzeit kann dazu beitragen, diese großartige Initiative ins Leben zu rufen. Wenn ein Kunde zum Beispiel am Geschäft eines Einzelhändlers vorbeigeht, erhält er eine Push-Benachrichtigung auf seinem Smartphone, die ihn zum Eintritt anreizt. In der Regel handelt es sich um ein personalisiertes Werbeangebot, das auf den Kaufaktivitäten oder sogar auf der Surfhistorie des Kunden auf der Website basiert. Sobald ein Kunde im Geschäft ist, erhält das Personal eine Benachrichtigung in seinen mobilen Apps. Dadurch werden sie auf die letzten Einkäufe des Kunden, die allgemeinen Stilvorlieben, das Interesse an Werbeaktionen, typische Ausgaben usw. aufmerksam. Es sieht sowohl für Kunden als auch für Händler wie eine Win-Win-Situation aus, nicht wahr?

Ein E-Commerce-Händler kann auch eine bessere Leistung erzielen, indem er Big Data in Echtzeit analysiert. Zum Beispiel kann er die Anzahl der abgebrochenen Einkäufe reduzieren. Nehmen wir an, ein Kunde ist so weit gegangen, aber aus irgendeinem Grund hat er entschieden, seinen Kauf nicht abzuschließen. Dennoch gibt es gute Chancen, Anreize dafür zu schaffen, dass er seine Meinung ändert. Das System wendet sich sowohl an die Profildaten des Kunden als auch an die Einkaufs- und Surfhistorie, um das Kundenverhalten dem Verhalten von anderen Kunden im gleichen Segment gegenüberzustellen und ihre Reaktionen auf verschiedene Aktionen in einer ähnlichen Situation zu vergleichen. Auf Grundlage der Analyseergebnisse wählt das System die geeignetste aus allen möglichen Aktionen aus - zum Beispiel bietet dem Kunden einen Rabatt an.

Eine typische Architektur für Big Data Analytics in Echtzeit

Lassen wir einen Blick darauf werfen, wie eine typische Big-Data-Analyselösung in Echtzeit funktioniert. Um die Erklärung anschaulicher zu machen, werden wir sie mit einem für alle bekannten Beispiel begleiten, weil wir ab und zu die Rolle eines Kunden übernehmen.

Stellen Sie sich einen Einzelhändler vor, der eine individuelle Kundenerfahrung bieten möchte. Der erste Schritt auf diesem langen Weg ist, einen Kunden zu erkennen, sobald er im Geschäft ist. Ein Händler kann das auf vielerlei Weise erreichen, zum Beispiel durch die Implementierung der Gesichtserkennung.

Nur mit dieser einzigen Datenquelle kann der Händler eine einfache Analyse durchführen, z. B. wie viele Männer und Frauen gegenwärtig im Geschäft sind. Der Händler wird sich aber nur mit einer einzigen Datenquelle nicht begnügen. Selbst um zu wissen, wie viele Kunden zum ersten Mal gekommen sind und wie viele zu Stammkunden gehören, wird eine weitere Datenquelle benötigt, beispielsweise CRM. Der allgemeine Kontext wird auch hilfreich sein, zum Beispiel die Information über die Ladenöffnungszeiten.

Nach der Verarbeitung finden Echtzeitdaten ihren Weg zu einem Echtzeit-Dashboard oder werden entweder zu einer Benachrichtigung oder zu einer Aktion von dem System. Wir haben bereits das Beispiel für den ersten Fall angeführt, in dem der Händler verstehen kann, wie viele Kunden momentan im Geschäft sind. Sehen wir uns eine andere Option genauer an. Angenommen, ein Kunde hat eine Einkaufsliste in der mobilen App erstellt und spaziert im Geschäft. Basierend auf den aktuellen Standortdaten des Kunden (die von Beacons erfasst und mit derselben Echtzeitanalyse verarbeitet werden), kann die App den optimalen Weg im Geschäft weisen, sodass er alles mitnehmen kann, was auf seiner Liste steht.

Lassen Sie uns im Rahmen des oben genannten Beispiels maschinelles Lernen und seine Rolle erklären. Maschinelles Lernen erfolgt übrigens nicht in Echtzeit. Es ist ein komplizierter Prozess. Das System erfordert viel Zeit, um eine enorme Datenmenge (die normalerweise den Zeitraum von einem Jahr und mehr umfasst) aus verschiedenen Blickwinkeln zu analysieren, um wertvolle Modelle und Muster zu finden. Diese Modelle helfen dem System, Entscheidungen in Echtzeit zu treffen. Jetzt zu dem Beispiel zurück: Das System hat bereits Kundenprofile und Segmente, zu denen sie gehören, als auch ihre Verhaltensmodelle, die Einkaufshistorie, die Reaktion auf Marketing-Kampagnen usw. analysiert und ein Modell erstellt, das personalisierte Empfehlungen ermöglicht. Und während der Kunde in den Korridoren läuft, kann das System ihn über Aktionsangebote oder damit verwandte Produkte informieren, die der Kunde interessant finden wird.

Das Konzept des maschinellen Lernens erfordert auch Anwendungen zur Überprüfung von Modellen, weil sie eine ständige Verbesserung der Genauigkeit von Modellen ermöglichen. Außerdem verbessern sie die Qualität der Eingabedaten, indem sie eine einfache Filterung von fehlerhaften oder verrauschten Daten ermöglichen.

Jetzt schauen wir uns den Datenspeicher an. Er besteht aus zwei Komponenten: einem Data Lake und einem Data Warehouse. Ersteres ist der Ort, an dem alle Rohdaten oder die Daten, die eine sehr einfache Verarbeitung erlebt haben, gespeichert werden. Ein Data Warehouse ermöglicht es, Big Data 2-10 mal kleiner zu machen, indem nur einige Daten aus dem Datensee extrahiert, transformiert und geladen werden.

Kurz gesagt, ein Einzelhändler kann nicht nur mit Echtzeit-Analysen auskommen. Sie können einige andere wichtige Komponenten des Schemas sehen, die aus dem Rahmen der Echtzeit ausfallen. Dennoch sind sie wichtig, wenn der Einzelhändler wertvolle und tiefe Einblicke erhalten möchte. Zum Beispiel ist ein Datenanalysemodul, das wir noch nicht erwähnt haben, verantwortlich für die Durchführung komplexer Analysen durch Anwendung ausgefeilter Algorithmen und statistischer Modelle, die von Datenanalysten gesteuert werden. In der Tat kann dieser Prozess Stunden oder mehr dauern, aber es lohnt sich zu warten. Dementsprechend werden die analytischen Dashboards des Händlers immer nicht nur Echtzeitdaten, sondern auch historische Daten enthalten.

Kurz gesagt

Wenn es gründlich geplant und richtig implementiert wird, kann das Big Data Analytics in Echtzeit definitiv zu einem Wettbewerbsvorteil werden. Unter Berücksichtigung, wie unterschiedlich die Interpretationen von Echtzeit sein können, ist es wichtig, ein klares Verständnis der Anforderungen des Unternehmens an das Analysesystem zu haben.

In dem Artikel haben wir eine typische Architektur für Echtzeit-Datenanalyse-Lösungen beschrieben. Bevor Sie es als Beispiel nehmen, prüfen Sie, ob es Ihren kurzfristigen und langfristigen Geschäftsbedarf deckt. Wenn das aus bestimmten Gründen nicht der Fall ist, können Sie sich immer an professionelle Berater wenden und erfahren, wie es anzupassen ist.