Wiki

Data Mesh

Was ist Data Mesh?

Data Mesh ist ein neues Architekturkonzept für das Datenmanagement in größeren Unternehmen. Entgegen der heutzutage üblichen Zentralisierung von Unternehmensdaten strebt der Data Mesh Ansatz eine zunehmende Dezentralisierung des „Dateneigentums“ an.

Das heißt: Die Verantwortung für die Daten liegt nicht bei einem spezialisierten Team von Data Engineers. Vielmehr verbleibt sie dort, wo ihr Ursprung liegt: in den Fachbereichen. Data Mesh ist also nicht nur eine techische Datenarchitektur, sondern ebenso ein organisatorisches Konzept.

Dabei ist die Zielsetzung, Engpässe in der Umsetzung von geschäftlichen Anforderungen zu überbrücken und somit Markteinführungszeiten und Innnovationsprozesse zu beschleunigen. Analysten und Data Scientists erhalten bei der Verwendung von Daten mehr Freiheit und Flexibilität. Aber auch fachliche Mitarbeiter werden dazu ermutigt, neue Wege mit Daten zu gehen und Lösungen in Eigeninitiative zu realisieren. Die Ergebnisse sind dann oftmals viel näher am Nutzer, als es beim Umweg über ein zentrales Daten-Team der Fall wäre. So ist der Datenarchitekturansatz einen guter Ausgangspunkt für den Weg zur Data Driven Company.

Die technologische Grundlage von Data Mesh Architekturen bilden moderne Cloud-Dienste. Hier finden sich einerseits Softwarelösungen, mit denen Anwender auch ohne Programmierkenntnisse sogenannte Datenprodukte entwickeln und mit anderen Teams teilen können. Andererseits lassen sich Speicher- und Rechenressourcen nach Bedarf skalieren, sodass Unternehmen ein schrittweiser Einstieg in das Thema ermöglicht wird. Nicht zuletzt existieren ausgereifte Services für die Umsetzung einer Governance und einem entsprechenden Data Catalog, die das Gesamtkonstrukt zusammenhalten.

Die Data Mesh Architektur im Überblick

Wie funktioniert Data Mesh?

Laut der Erfinderin Zhamak Dehghani beruht Data Mesh auf vier fundamentalen Prinzipien:

  • Domain Ownership: Die Verantwortung für die Daten entfernt sich vom zentralen Data Team. Sie rückt in Richtung des jeweiligen Fachbereichs bzw. in die Hände von interdisziplinären Domain Teams mit identischen Data Sets und Zielen.
  • Data as a Product: Die dezentralisierten Data Teams werden zum Product Owner. Sie entwickeln eigene Datenprodukte bzw. Data Products und teilen diese mit anderen Bereichen. Als Produkt gilt die gesamte Spannbreite datenbasierter Anwendungsfälle, angefangen bei der einfachen Tabelle über das interaktive Dashboard bis hin zu Machine-Learning-Modellen oder vollständigen End-to-End-Lösungen. Für die Verbreitung, das interne Marketing sowie die Datenqualität ist ebenfalls das jeweilige Team verantwortlich.
  • Self-Service Infrastructure: Ein spezielles IT-Team stellt den Fachbereichen bei Bedarf eine Self-Service-Umgebung mit eigenen Tools und definierten Schnittstellen für die Entwicklung von Datenprodukten zur Verfügung. Durch den Einsatz von Cloud-Services lässt sich eine solche Infrastruktur auf Knopfdruck ausrollen. Die Dateneigentümer werden dadurch in die Lage versetzt, selbstständig mit Daten zu arbeiten.
  • Federated Governance: Flankiert wird das Vorgehen durch ein einheitliches Regelwerk, das sowohl Teile der Infrastruktur als auch die Datenprodukte und deren Bereitstellung standardisiert. Durch diese übergreifende Governance wird ein Wildwuchs an Lösungen verhindert und deren Weiterverwendbarkeit sichergestellt.

Das Business erhält demnach von zentraler Stelle eine Self Serve Data Platform an die Hand, mit der sich Daten und Lösungen eigenständig entwickeln, veröffentlichen und vermarkten lassen. Somit wird der Self-Service-Gedanke von den Analyse-Werkzeugen auf die infrastrukturellen Technologien ausgeweitet. Der Analyst wird zu seinem eigenen Herrn, die Technologie wird sozusagen demokratisiert.

Wie können Sie mit Data Mesh neue Werte schaffen?

Ob und wie weit sich die Verwendung des Data Mesh Ansatzes lohnt, hängt von der  Ausgangssituation und den Zielen des jeweiligen Unternehmens ab. Oder um es in den Worten von Piethein Strengholt, einer der weltweit führenden Data-Mesh-Koryphäen, zu sagen: „There´s noch single way to implement Data Mesh.“

Demnach dürfte eine Data Mesh Strategie in der Reinform als „Fully Federated Mesh“ eher für lose Firmenverbünde oder sehr autonom arbeitende Fachbereiche geeignet sein, die dann jeweils als eigene Domäne fungieren. Bei Unternehmen mit einem zentralen Data Warehouse oder Data Lakehouse bietet sich hingegen eine schritt- bzw. teilweise Dezentralisierung an.

Fully Governed Mesh, Hybrid Mesh Federation und Fully Federated Mesh

Ein Ansatz könnte hierbei das „Fully Governed Mesh“ sein. Dabei werden die Data Products von den einzelnen Abteilungen bzw. Analyse-Teams lediglich erstellt. Die Verteilung erfolgt dann über ein zentrales Data Platform Team, dass auch bei technologischen Fragestellungen unterstützt. So ist eine solche Datenarchitektur vor allem für Unternehmen interessant, deren Fokus auf Kontrolle, anstatt auf Agilität liegt, wie etwa dem Versicherungs- und Finanzsektor.

Daneben existieren verschiedene Mischformen, die als „Hybrid Mesh Federation“ bezeichnet werden. Abhängig von der individuellen Situation sind hierbei die verschiedenen Data Mesh Prinzipien rund um einen zentralen Betrieb unterschiedlich stark ausgeprägt. Gemeinsam ist allen Datenarchitekturen dass manche Lösungskomponenten zentralisiert sind, während andere dezentral agieren. Insofern eignen sich solche Ansätze auch gut als Einstiegsszenario, da die erforderlichen Kenntnisse in den Abteilungen sowie die entsprechende Governance nach und nach aufgebaut werden können.

Wollen auch Sie mit Hilfe des Data Mesh Konzepts schneller die besten Lösungen für Ihr Geschäft, Ihre Kunden und Ihre Mitarbeiter entwickeln? Dann schauen Sie doch mal im Bereich Datenstrategie vorbei oder informieren Sie sich über unser Webinar Scale with Data Mesh – mit IoT und Lakehouse in die datengetriebene Zukunft.

Join #teamoraylispeople

Gestalte mit uns
die Welt der Daten