BLOG

Recap Big Data LDN 2022

29.09.2022 Daniel Esser

Es ist 6:50 Uhr und die Triebwerke der Airbus A-220 machen sich bereit, knapp 55 Tonnen Gewicht und ungefähr 120 Passagiere entlang der Straße von Dover in Richtung UK zu befördern. Mein Ziel ist die Big Data London (BDL). Die BDL hatte im Jahr 2019 beachtliche 9.000 Besucher. Und nach zwei Jahren Zwangspause gibt es natürlich viel Nachholbedarf. Rund 550 Kilometer später werde ich mit einem standesgemäßen Empfang in der wunderschönen Veranstaltungshalle Olympia belohnt.

Big Data London 2022 Daniel Esser Data Mesh ORAYLIS

Ich gehe die Titel und Zusammenfassungen der über 200 Vorträge durch und lege mir einen Plan für die beiden Veranstaltungstage zurecht. In diesem Jahr dreht sich alles um die Themen Data Mesh, Data Fabric und Modern Data Stack. Dabei habe ich einige Fragen im Gepäck, die sich in Gesprächen mit Kollegen und Kunden in den vergangenen Monaten angesammelt haben. Hierzu zählen:

  • Welche Herausforderungen haben wir in den nächsten Jahren bei der Arbeit mit Daten zu bewältigen?
  • Was ist ein Data Mesh und welche Voraussetzungen müssen Unternehmen für die Implementierung mitbringen?
  • Wie differenziert sich Data Mesh, Data Fabric und ein Modern Data Stack voneinander?

Die Herausforderungen mit den Daten

Datenmanagement bezeichnet heutzutage im Regelfall den Transport von Daten an eine zentrale Stelle, wo diese für analytische Zwecke aufbereitet werden. Die Folge ist, dass der Nutzer die Daten aus verschiedenen Gründen nicht schnell genug in Mehrwerte überführen kann (Speed-to-Value). Gleichzeitig werden die IT-Abteilungen belastet. Die Mitarbeiter müssen sich nun um Datenpipelines, Datenverteilung und eine Data Governance kümmern.

Zhamak Dehghani, Erfinderin des Data-Mesh-Konzeptes, argumentiert in diesem Zusammenhang, dass dieses Vorgehen zu einem architektonischen Turm von Babel führt: “That big, large, tall tower that tried to reach for heaven (…) but the problem was they didn’t all speak the same language which resulted in this confused architecture. We’ve spent quite a lot of time and money optimising our data; addressing the diversity of data (…) but what we haven’t addressed is the scale of complexity of data in our organisations.”

Data Mesh Grafik ORAYLIS

Dem stellt Dehghani nun Data Mesh gegenüber, als „decentralised sociotechnical approach to share, access and manage analytical data in complex and large-scale environments – within or across organisations”. Aber was bedeutet das konkret? Viele Firmen haben viel Geld in Data Warehouses und Data Lakes investiert. Stellt ein dezentralisierter Ansatz das nicht auf den Kopf? Was ist mit den vielen Datensilos? Können jetzt alle behaupten, sie hätten ein Data Mesh?

Data Mesh, Data Fabric oder Modern Data Stack – Hype oder Pfad zur Erleuchtung?

Auf der Big Data LND  haben sich jedenfalls die Anbieter mit Heilsversprechen überschlagen um ihren Produkten das Siegel „Data-Mesh Built-In“ zu verpassen. Aber geht das so einfach? Ich behaupte Nein. Wie gesagt: Data Mesh ist ein dezentraler, soziotechnischer Ansatz für die gemeinsame Nutzung, Bereitstellung und Verwaltung von Daten in komplexen und groß angelegten Umgebungen, wie Fachabteilungen, Firmen oder allgemein der Gesellschaft. Im Kern geht es also darum, die Organisation, die Arbeitsweise und den Umgang mit Daten grundlegend in Richtung einer dezentralisierten Eigentümerschaft und Verantwortung zu verändern. Ein sehr kluger und innovativer Ansatz. Aber sowas lässt sich nicht einfach „einbauen“. Und natürlich geht es auch nicht darum, neue Datensilos zu erschaffen.

Key Pillars of a Comprehensive Data Fabric ORAYLIS Big Data London 2022

Ein weiterer Trend-Begriff ist die Data Fabric, ein Referenzmodell bzw. eine Idealvorstellung von Datenmanagement. Der Kernansatz ist, alle Arten von Metadaten kontinuierlich zu sammeln, zu analysieren und zueinander in Beziehung zu setzen (aktive Metadaten). KI und Machine Learning helfen dabei, diese Beziehungen zu identifizieren und schließlich die Datenintegration zu vereinfachen oder sogar zu automatisieren. Was daraus in Zukunft wird, bleibt offen.

Und der „Modern Data Stack“? Mit Tempo und hoher Skalierbarkeit soll ein Sammelsurium von Technologien den Unternehmen Zeit, Aufwand und Geld sparen. Allerdings handelt es sich bei den Anbietern meist um aufstrebende Technologiefirmen, hinter denen Wagniskapitalgeber stehen. Das heißt: Lassen sich die Technologien gut miteinander kombinieren, dann hat auch der Kunde was davon. Am Ende geht es jedoch auch immer um die Rendite. Daher sind solche Angebote bislang mit Vorsicht zu genießen.

Unified Data Infrastructue 2.0 ORAYLIS Big Data London 2022

Was denn nun? Zentralisieren oder Dezentralisieren?

Wo geht die Reise also hin? Eine Zentralisierung von Daten hat klare Vorteile, wenn es um Themen wie schnelle Auffindbarkeit, Sicherheit, Monitoring oder Normalisierung geht. Demgegenüber stehen Nachteile, wie Datenverluste durch zu viel Harmonisierung, Time-to-Value, limitierte Ressourcen oder mangelndes Expertenwissen.

Spezielle Werkzeuge können die Transformation zu mehr Dezentralisierung unterstützen, aber sie allein sind nicht der Weisheit letzter Schluss. Letztendlich hat jedes Unternehmen eine individuelle Datenlandschaft mit ihren ureigenen Herausforderungen. Wie die Praxis zeigt, sind längst nicht alle Unternehmen für eine organisatorische Dezentralisierung im größeren Maßstab bereit. Das heißt: Zentralisierung und Dezentralisierung müssen passend zum Reifegrad des Unternehmens ausgestaltet werden, wobei es sich um einen Balanceakt zwischen Menschen, Prozessen und Technologien handelt.

Insofern ist mein wichtigstes Take-away von der Big Data London: Unser Ansatz, gemeinsam mit dem Kunden zunächst eine Datenstrategie zu entwickeln, scheint goldrichtig zu sein. Denn hier werden alle wichtigen Faktoren im Vorfeld auf den Prüfstand gestellt und daraus ein gezieltes Vorgehen mit einer passenden technischen Lösung entwickelt.

Your email address will not be published. Required fields are marked *

Ihr Einstieg

Data Strategy Assessment

Sie wollen die Potenziale in Ihren Daten ausschöpfen und für Ihr künftiges Wachstum nutzbar machen? Aber Sie wissen nicht, wo Sie starten sollen? In unserem Data Strategy Assessment definieren wir gemeinsam Ihr erstes Leuchtturmprojekt und entwickeln einen Plan für die technische Umsetzung in der Cloud.

Join #teamoraylispeople

Gestalte mit uns
die Welt der Daten