Referenzprojekt Fressnapf: Migration der analytischen Datenbasis
Aufbau eines analytischen Single Points of Truth durch Zusammenführung zweier dispositiver Datenhaltungen
Quick Facts
-
Referenz-Kunde
-
Referenz-Branche
-
Ausgangssituation
In Fressnapfs Ausgangslage waren die allermeisten der analytischen Datenquellen im SAP BW bzw. HANA verfügbar. Von dort wurden sehr viele Daten in eine SAS-Umgebung repliziert und dort wurde der Analytics Data Mart und seine ETL-Logik in einer Schichtenarchitektur ingl. Staging der Daten aufgebaut. Zielsetzung des Projekts war die Migration der fachlichen ETL-Logik zurück nach SAP HANA, um dort einen Single Point of Truth aufzubauen. Gleichzeitig sollte eine Harmonisierung einer Vielzahl verschiedener transaktioneller Views in eine bzw. wenige Transaktionsviews erfolgen.
-
Aufgaben
- Fachliche Konzeption für die Harmonisierung der Transaktions-Views
- Aufbau der ETL-Logik für die Dimensionen
- Aufbau der ETL-Logik für die Transaktionen
- Harmonisierung der Transaktionsdaten über verschiedene Vertriebswege und Identifikationsformen hinweg
- Aufbau einer DELTA-Logik für die Transaktionen zur einfachen Verwendung der Daten in Drittsystemen
Projekt-Insights
Die Business-Logik an einer Stelle verorten.
Die analytische Datenbasis eines Unternehmens wird von vielen Abteilungen genutzt, dementsprechend wichtig ist die gute Verfügbarkeit und fachliche Korrektheit der Daten. Gibt es nun verschiedene Stationen, an denen fachliche Logik in den ETL-Strecken verortet ist, so ist neben schwierigerer Wartbarkeit auch die Gefahr für auseinanderdivergierende Datenbestände und Attribute bzw. Kennzahlen gegeben. CINTELLIC hat hier mit Fressnapf zusammen die analytische Datenbasis an einem Ort vereint und gleichzeitig mehrere Sichten harmonisiert, so dass nun verschiedenste Anwendungen und Berichte die immer gleiche Datenbasis verwenden können.
Der Lösungsansatz umfasst drei aufeinanderfolgende Bausteine, welche in den nächsten Abschnitten erläutert werden:
1. Herausforderung
2. Lösung
4. Kundennutzen
Herausforderung
Heterogen gewachsene Datenstrukturen führen zwar zu den bereits genannten Problemen, haben in Unternehmen aber auch viele Befürworter. Nämlich die Nutzerinnen und Nutzer dieser Daten, da die heterogen gespeicherten Daten die Basis für viele hart erarbeitete Ad-Hoc-Analysen, Berichte und weitere analytische Ergebnisse ist. Somit war eine der Herausforderungen, dass die neue analytische Datenbasis sich möglichst an bekannten Datenstrukturen orientiert, zumindest solange es fachlich und technisch sinnvoll ist, um eine hohe Akzeptanz für die neue Datenbasis zu erreichen.
Des Weiteren war die große Datenmenge eine Herausforderung. Anforderung der Analysten war die gesamte verfügbare Zeitleiste auf einer sehr granularen Ebene darzustellen, was zu einer sehr großen Datenmenge geführt hat, welche dennoch performant abzurufen ist. Da die Datenbasis auch verschiedenen Drittsystemen zur Verfügung gestellt werden soll, wurde eine Delta-/Full-Logik mit aufgebaut, um alle Änderungen der Transaktionsdaten in der kleinstmöglichen Menge mitzubekommen.
Lösung
Da die Transaktionsdaten in der Ausgangssituation in hunderten verschiedenen Views abgebildet wurden und diese auf zwei Views harmonisiert werden sollten, war es zu Beginn wichtig ein sauberes Datenmodell für diese Views zu entwerfen. Gleichzeitig konnte der Aufbau der ETL-Logik für die Dimensionen aufgebaut werden. Nach der abgeschlossenen Konzeption konnte die ETL-Logik der harmonisierten Transaktionen aufgebaut werden. Hierfür verwendeten wir fachlich getrennte Sub-ETL-Strecken, um die spätere Wartbarkeit und Weiterentwicklung zu vereinfachen.
Als weiteres, großes Arbeitspaket galt die Migration einer Harmonisierung der Transaktionsdaten über verschiedene Vertriebswege und Identifikationsformen hinweg, da hier sehr viele Beziehungen in den großen Datenbeständen zu berücksichtigen waren. Zuletzt war die Erstellung der DELTA-Logik notwendig, um Drittsysteme mit den Daten effizient beliefern zu können. Begleitet wurden alle diese Aufgaben mittels konstantem Requirements Engineering, um die Logiken korrekt zu migrieren und keine Inkonsistenzen aufzubauen. Des Weiteren fand ein begleitendes Testing statt, um die fachlich korrekte Interpretation der Daten zu überprüfen.
Kundennutzen
Der Hauptnutzen war der bereits erwähnte Aufbau einer Single Point of Truth, um nun eine einzelne analytische Datenbasis zu haben. Darüber hinaus wurde aber auch die Aktualität der Daten beschleunigt, welche zuvor durch erneutes Staging verzögert worden ist. Auch reduziert der Wegfall eines weiteren Stagings Speicherplatz, vor allem ist durch zentrale Verortung die Wartbarkeit und die Möglichkeit zur Weiterentwicklung enorm gestiegen. Des Weiteren können nun mehrere Drittsysteme gleichzeitig auf die Daten zugreifen ohne Abweichungen in den Daten befürchten zu müssen.
