Wie funktioniert ein Data Warehouse?
Die Struktur eines DWHs wird allgemein als „Schichtenarchitektur“ bezeichnet. Dabei werden die verschiedenen Aufgaben des Systems einzelnen Layern zugeordnet. Eine beispielhafte und vielfach bewährte Architektur besteht aus drei Schichten:
- Replication Layer: Hier werden die Quelldaten in ihrer Rohform angeliefert und gespeichert. Die Schicht dient als Archiv, das die Quellsysteme entlastet. Entsprechend handelt es sich auch um einen guten Anlaufpunkt für die explorativen Analysen von Data Scientisten. Massendaten lassen sich indes nur in geringer Geschwindigkeit abfragen.
- Technology Layer: Auf dieser Ebene werden die Daten technisch transformiert, zusammengefasst und gegebenenfalls historisiert. Grundlage bildet ein relationales Datenbankmanagementsystem. Daher eignet sich dieses Vorgehen auch nur für strukturierte Daten. Abfragen über SQL können in hoher Geschwindigkeit durchgeführt werden. Somit eignet sich der Technology Layer z.B. auch als Quelle für schnelle Datenextrakte, etwa wenn Echtzeitdatenströme durch aktuelle Stammdaten angereichert werden sollen..
- Business Layer: Der Business Layer schafft schließlich die fachliche Sicht auf das Unternehmen. Er dient Fachabteilungen und Analysten für Berichte, Ad-hoc-Abfragen und eigene Analysen auf Basis moderner Self-Service-Werkzeuge. Entsprechend sind die Daten dimensional modelliert und mit einer Business-Logik unterlegt.
Dieses Architekturkonzept hat weiterhin Bestand. Es sorgt für eine konsolidierte und harmonisierte Datensammlung, die dem Nutzer schnelle und komfortable Abfragen ermöglicht. Informationen werden organisiert verwaltet, sodass sie für Berichte und Datenanalysen leichter zugänglich sind. Allerdings erweist es sich als relativ unflexibel hinsichtlich der schnellen Veränderungen, die dynamische Märkte den Unternehmen heutzutage abverlangen. Ebenso lassen sich keine unstrukturierten Daten verarbeiten, wie z. B. Bilder und Filme. Daher hat das Konzept inzwischen eine umfassende Erweiterung erfahren.
Wie können Sie mit einem Data Warehouse neue Werte schaffen?
Die mangelnde Flexibilität klassischer DWH-Lösungen ist unter anderem darauf zurückzuführen, dass sie „On-Premises“ im unternehmenseigenen Rechenzentrum betrieben werden. Speicher und Rechenleistung sind also in ihren Größen festgelegt. Im Unterschied dazu ist das Konzept eines Modern Data Warehouse (MDWH) – wie es vor allem Microsoft propagiert – grundsätzlich in der Cloud angesiedelt. Erforderliche Ressourcen können daraufhin nach Bedarf in Anspruch genommen und skaliert werden. Als zentraler Datenspeicher dient meist ein Data Lake, der strukturierte wie unstrukturierte Daten in nahezu unbegrenzten Mengen aufnehmen und beispielweise für explorative Analysen vorhalten kann. Gleichzeitig lässt sich innerhalb des Data Lakes ein Bereich mit Schichtenarchitektur einrichten, der die typischen DWH-Aufgaben wahrnimmt.
Zudem ermöglichen es Cloud-Angebote wie Azure, abhängig von den individuellen Anforderungen passenden Dienste etwa für die Verarbeitung von Echtzeitdaten oder die Entwicklung Künstlicher Intelligenz nach dem Baukastenprinzip zu ergänzen. Dabei spielen die DWH-Daten weiterhin eine gewichtige Rolle. So werden beispielsweise Zahlenwerte aus einem Echtzeit-Streaming im Regelfall erst durch die Kombination mit konsolidierten Stammdaten verständlich und interpretierbar.
Wollen auch Sie ein modernes Cloud-DWH aufbauen, um Ihre Datenanalyse für die Zukunft zu rüsten? Oder wollen Sie Ihre bestehende On-Prem-Lösung in die Cloud migrieren? Dann schauen Sie auf der Seite BI & Data Analytics vorbei oder informieren Sie sich über unser Training Microsoft Modern Data Warehouse: Cloud-Plattformen aufbauen und geschäftlich nutzen.
turn your data into value.
