Data Lake

Unter dem Erfordernis, stetig wachsende Datenmengen gewinnbringend aus verschiedenen Quellen, sei es Web, Mobil oder aus digital vernetzen Geräten (IoT – Internet of things) zu nutzen, entsteht die Kernidee von Data Lakes (deustch: „Datensee“). In einem Data Lake werden alle Daten abgelegt, die für Business Intelligence, Data Science und Big-Data-Analysen verwendet werden.

Die Daten in einem Data Lake liegen zumeist in folgenden Formaten vor:

• Unstrukturierte Daten (z.B. Sensordaten oder Audiodaten)
• Strukturierte Daten (z.B. formatierte Tabelle)
• Semistrukturierte Daten (z.B. Bilder mit Metadaten)

Im bisherigen Kontext eines Data Warehouses, welches verteilte Datensilos vereint, fokussiert sich ein Data Lake auf die zusätzliche Bereitstellung von nicht relationalen Daten. Daten gelangen zumeist untransformiert, sprich in ihrer nativen Form, in den Datenspeicher, wodurch zwar potenziell mehr Data Cleaning benötigt wird, jedoch auch erweitere Use Cases zur Nutzung der Daten entstehen.

Data Lakes haben aufgrund der Struktur ihrer Rohdaten und dem Analysepotenzial spezielle Vorteile gegenüber Data Warehouses oder singulären Datenbanken:

• Aufgrund der Datenvielfalt lassen sich die meisten Schritte des Kaufverhaltens nachverfolgen und dadurch eine zielgerechte Kundenansprache ableiten
• Das Potenzial den Kundenlebenszyklus anhand diverser Customer Touchpoints zu rekonstruieren, unterstützt Unternehmen bei der richtigen Entscheidungsfindung
• Einheitlichkeit der Daten und die Chance, die Datenqualität mithilfe von abteilungsübergreifenden Data Ingests zu erhöhen

In der Cloud finden Sich viele Beispiele für die Implementierung einer Data-Lake-Solution. in der nachfolgenden Abbildung wird eine solche Architektur dargestellt:

Daten werden im Data Lake auf Basis von verschiedenen Data Layers prozessiert:

1. Ingestion Layer (Dateneingang):  Im Ingestion Layer werden Rohdaten erfasst und untransformiert in den Data Lake geladen. Diese Daten können aus verschiedenen Systemen (z.B. Business-Anwendungen) entstammen und werden mittels einem ETL-Tool in den Data Lake geladen. Die Daten befinden sich zumeist in einem Objektspeicher, von dem aus diese weiter bearbeitet werden.
2. Staging Layer (Datenbereinigung): Im Staging Layer werden Daten bereinigt (Entfernung von Duplikaten und leeren Werten, korrekte Spaltentypen, etc.). Der Staging Layer befindet sich hier bereits innerhalb des Data Lakes, was in einer Cloud dann den besonderen Vorteil hat, das Daten repliziert werden und zugehörige Metadaten separat abgespeichert werden können. Das dient zur Erhöhung der Data Governance und Datenverfügbarkeit.
3. Outsourcing Layer: Die bereinigten Daten werden erneut mittels einem ETL-Tool in Zielanwendungen geladen, die diese dann verwenden können. Neben Datenbanken können auch Data Warehouses als Zielort dienen .