Data Warehouse Automatisierung mit erwin

Data-Warehouse-Projekte kämpfen klassisch mit langen Implementierungszeiten. Dadurch steigt die Wahrscheinlichkeit, dass sich fachliche Anforderungen bereits während der Projektlaufzeit ändern. Termin- und Kostenziele geraten unter Druck. Ein schematisches Modell wie Data Vault bietet hier erhebliches Automatisierungspotenzial.

Vorteile der Data-Vault-Methodik

Dan Linstedt entwickelte Data Vault, um Implementierungszeiten zu verkürzen und Data Warehouses leichter an Änderungen anpassbar zu machen. Das zentrale Designprinzip trennt Business Keys, Kontextinformationen und Beziehungen in eigene Tabellentypen:

• Hubs enthalten stabile Business Keys.
• Satellites speichern beschreibende und historisierte Kontextinformationen.
• Links bilden Beziehungen zwischen Business Keys ab.

Diese Trennung bringt mehrere Vorteile:

• Modelle lassen sich leicht erweitern und unterstützen damit ein agiles Vorgehen.
• Die entstehenden Strukturen sind gut skalierbar.
• Ladeprozesse können wegen weniger Synchronisationspunkte weitgehend parallelisiert werden.
• Änderungen und Historien lassen sich gut auditieren.

Wo Licht ist, ist auch Schatten

Data Vault erzeugt durch die Trennung der Informationstypen und die zusätzlichen Lademetadaten sehr viele Tabellen und Spalten. Der Modellierungsaufwand steigt, obwohl ein großer Teil der Arbeit aus wenig anspruchsvollen, mechanischen Schritten besteht.

Gerade der schematische Aufbau schafft jedoch gute Voraussetzungen für eine Generierung. Wenn sich die Ableitungsregeln eindeutig beschreiben lassen, können große Teile des Modellierungsprozesses automatisiert und Projekte deutlich beschleunigt werden.

Automatisierungspotenzial in der DWH-Architektur

Eine typische Data-Warehouse-Architektur umfasst folgende Schichten:

• Source Systems: operative Systeme wie ERP- oder CRM-Lösungen.
• Staging Area: übernimmt Daten aus den operativen Systemen. Die Struktur entspricht weitgehend der Quelle und wird um technische Informationen zur Beladung ergänzt.
• Core Warehouse: integriert Daten aus mehreren Systemen. Im Data-Vault-Ansatz wird es in Raw Vault und Business Vault unterteilt. Fachliche Regeln liegen im Business Vault; der Raw Vault arbeitet mit möglichst einfachen Transformationen.
• Data Marts: richten sich nach den Anforderungen der Auswertung und werden häufig als Star Schema modelliert.

Staging Area und Raw Vault lassen sich anhand klarer Regeln aus der jeweils vorgelagerten Schicht ableiten.

Besonders Staging Area und Raw Vault eignen sich für die Automatisierung, weil ihre Strukturen regelbasiert aus dem vorhergehenden Modell erzeugt werden können.

Standardmodellierer oder spezialisiertes Automation Tool?

Spezialisierte Data-Warehouse-Automation-Werkzeuge erschließen diese Potenziale direkt. Ein Standardmodellierungswerkzeug wie erwin Data Modeler hat dagegen andere Stärken:

• Bestehende Modelle von Quellsystemen können weiterverwendet werden.
• Ausgereifte Funktionen unterstützen Modellvergleich und Standardisierung.
• Eine breite Palette von Datenbanken wird unterstützt.
• Schnittstellen ermöglichen den Import von Modellen aus anderen Werkzeugen.
• Quellsysteme oder weitere Warehouses sind häufig bereits im selben Werkzeug modelliert.
• Die Modellpalette kann die gesamte Unternehmensarchitektur und nicht nur das Data Warehouse abbilden.
• Vorhandene semantische Informationen lassen sich über Business Glossaries integrieren.

MODGEN für erwin Data Modeler

Für die modellbasierte Generierung in erwin wurde das Add-in MODGEN entwickelt. Es integriert sich in die erwin-Oberfläche und orientiert sich bei der Bedienung am Modellvergleich mit Complete Compare.

MODGEN bietet unter anderem:

• die Erzeugung von Staging- und Raw-Vault-Modellen aus dem Modell der vorhergehenden Schicht,
• die Steuerung der Generierung über Metainformationen in User Defined Properties (UDPs),
• den dauerhaften oder interaktiven Ausschluss einzelner Objekte,
• sowie Templates für standardisierte Metaspalten.

Round Trips, Mappings und Lineage

Ein iterativer Modellierungsprozess muss wiederholbar sein. MODGEN vergleicht deshalb bei jeder Generierung Quell- und Zielmodell. Unterschiede werden ausgewiesen und können von Anwendern gezielt in das Ziel übernommen werden. Dadurch bleibt der Prozess Round-Trip-fähig, auch wenn Modelle mehrfach erweitert werden.

Die Generierung berücksichtigt nicht nur Tabellen und Spalten als horizontale Modellstruktur. Für jede erzeugte Zielspalte wird außerdem die Beziehung zur Quellspalte als Data Source dokumentiert. Auf dieser Grundlage lassen sich Source-to-Target-Mappings erzeugen. Werden Quell- und Zielmodell in das Web Portal integriert, stehen diese Informationen zugleich für Impact- und Lineage-Analysen zur Verfügung.