Wiki

Data Mesh

Was ist Data Mesh?

Data Mesh ist ein neues Architekturkonzept für die Datenhaltung in größeren Unternehmen. Entgegen der heutzutage üblichen Zentralisierung von Unternehmensdaten strebt der Ansatz eine zunehmende Dezentralisierung des „Dateneigentums“ an. Das heißt: Die Verantwortung für die Daten liegt nicht bei einem spezialisierten Data-Engineering-Team. Vielmehr verbleibt sie dort, wo ihr Ursprung liegt: in den Fachbereichen. Data Mesh ist also nicht nur ein technisches Konzept, sondern ebenso ein organisatorisches.

Dabei ist die Zielsetzung, Engpässe in der Umsetzung von geschäftlichen Anforderungen zu überbrücken und somit Markteinführungszeiten und Innnovationsprozesse zu beschleunigen. Analysten und Data Scientists erhalten mehr Freiheit und Flexibilität. Aber auch fachliche Mitarbeiter werden dazu ermutigt, neue Wege zu gehen und Lösungen in Eigeninitiative zu realisieren. Die Ergebnisse sind dann oftmals viel näher an den Nutzern, als es beim Umweg über ein zentrales Daten-Team der Fall wäre.

Die technologische Grundlage eines Data Meshs bilden moderne Cloud-Dienste. Hier finden sich einerseits Softwarelösungen, mit denen Anwender auch ohne Programmierkenntnisse sogenannte Datenprodukte entwickeln und mit anderen Teams teilen können. Andererseits können Speicher- und Rechenressourcen nach Bedarf skaliert werden, sodass Unternehmen ein schrittweiser Einstieg in das Thema ermöglicht wird. Nicht zuletzt existieren ausgereifte Services für die Umsetzung einer Governance, die das Gesamtkonstrukt zusammenhält.

Die Data Mesh Architektur im Überblick

Wie funktioniert Data Mesh?

Laut der Erfinderin Zhamak Dehghani beruht Data Mesh auf vier fundamentalen Prinzipien:

  • Domain Ownership: Die Verantwortung für die Daten entfernt sich vom zentralen Daten-Team. Sie rückt in Richtung des jeweiligen Fachbereichs bzw. in die Hände von interdisziplinären Analyse-Teams mit identischen Data Sets und Zielen.
  • Data Product: Die dezentralisierten Teams entwickeln eigene „Datenprodukte“ und teilen diese mit anderen Bereichen. Als Datenprodukt gilt die gesamte Spannbreite datenbasierter Anwendungen, angefangen bei der einfachen Tabelle über das interaktive Dashboard bis hin zu Machine-Learning-Modellen oder vollständigen End-to-End-Lösungen. Für die Verbreitung, das interne Marketing sowie die Datenqualität übernimmt das jeweilige Team die alleinige Verantwortung.
  • Self-Service Infrastructure: Ein spezielles IT-Team stellt den Fachbereichen bei Bedarf eine Self-Service-Umgebung mit eigenen Tools und definierten Schnittstellen zur Verfügung. Durch den Einsatz von Cloud-Services lässt sich eine solche Infrastruktur auf Knopfdruck ausrollen.
  • Federated Governance: Flankiert wird das Vorgehen durch ein einheitliches Regelwerk, das sowohl Teile der Infrastruktur als auch die Datenprodukte und deren Bereitstellung standardisiert. Durch diese übergreifende Governance wird ein Wildwuchs an Lösungen verhindert und deren Weiterverwendbarkeit sichergestellt.

Das Business erhält demnach von zentraler Stelle eine Analyseplattform an die Hand, mit der sich Daten und Lösungen eigenständig entwickeln, veröffentlichen und vermarkten lassen. Somit wird der Self-Service-Gedanke von den Analyse-Werkzeuge auf die infrastrukturellen Technologien ausgeweitet. Der Analyst wird zu seinem eigenen Herrn, die Technologie wird sozusagen demokratisiert.

Wie können Sie mit Data Mesh neue Werte schaffen?

Ob und wie weit sich der Einsatz von Data Mesh lohnt, hängt von der jeweiligen Ausgangssituation ab. In seiner Reinform als „Full Mesh Federation“ dürfte das Konzept eher für lose Firmenverbünde geeignet sein, wobei jedes Unternehmen eine Domain mit eigener Datenverantwortlichkeit stellt. Bei Unternehmen mit zentralem Business-Intelligence-System bietet sich hingegen eine schritt- bzw. teilweise Dezentralisierung an. Auf diese Weise können die erforderlichen Kenntnisse in den Abteilungen sowie die entsprechende Governance nach und nach aufgebaut werden.

Geverned Mesh Hybrid Mesh Federation und Full Mesh Federation

Ein Einstiegsszenario könnte hierbei das „Governed Mesh“ sein. Dabei werden die Datenprodukte von den einzelnen Abteilungen bzw. Analyse-Teams lediglich erstellt. Die Verteilung erfolgt dann über ein zentrales Team, dass auch bei technologischen Fragestellungen unterstützt. In der Praxis hat sich ebenfalls die „Hybrid Mesh Federation“ bewährt. Hier arbeiten bereits einzelne Domains eigenverantwortlich zusammen und tauschen sich aus. Gleichzeitig gibt noch eine zentrale Plattform mit eigenem Betriebsteam, das Abteilungen unterstützt, denen noch die notwendigen Skills und Kapazitäten fehlen.

Wollen auch Sie mit Data Mesh schneller die besseren Lösungen für Ihr Geschäft, Ihre Kunden und Ihre Mitarbeiter entwickeln? Dann schauen Sie doch mal im Bereich Datenstrategie vorbei oder informieren Sie sich über unser Data Strategy Assessment.

Ihr Einstieg

Data Strategy Assessment

Sie wollen die Potenziale in Ihren Daten ausschöpfen und für Ihr künftiges Wachstum nutzbar machen? Aber Sie wissen nicht, wo Sie starten sollen? In unserem Data Strategy Assessment definieren wir gemeinsam Ihr erstes Leuchtturmprojekt und entwickeln einen Plan für die technische Umsetzung in der Cloud.

Join #teamoraylispeople

Gestalte mit uns
die Welt der Daten