Was bedeutet Data Lake?

Ein Data Lake ist ein Speicher, der Daten in ihrer ursprünglichen Form aufnimmt, ohne sie vorher in ein festes Schema zu bringen. Tabellen, Textdateien, Bilder, Protokolle und Sensorwerte liegen dort gleichberechtigt nebeneinander, unabhängig vom Quellsystem. Anders als ein Data Warehouse legt ein Data Lake die Struktur erst beim Lesen fest und nicht schon beim Schreiben.

Technisch besteht ein Data Lake aus einem Objektspeicher wie S3 oder MinIO und einem Katalog, der jede Datei mit Herkunft, Zeitstempel und Format verzeichnet. Abfragewerkzeuge wie Trino oder Spark lesen direkt aus dem Speicher und interpretieren die Struktur erst zur Laufzeit der Abfrage. Der Katalog ist dabei kein Beiwerk: Ohne ihn weiß nach kurzer Zeit niemand mehr, welche Datei welchen Stand abbildet.

Ein Data Lake lohnt sich dort, wo viele verschiedenartige Daten anfallen und beim Speichern noch offen ist, wofür sie später gebraucht werden. Aufgenommen werden etwa Messreihen aus Sensornetzen, Bilder, Gutachten und Protokolldateien aus dem laufenden Betrieb. Für einen festen Berichtskreis mit stabilen Kennzahlen bleibt ein Data Warehouse die einfachere Wahl.

Der Vorteil gegenüber einer Aufbereitung beim Einlesen liegt darin, dass keine Information vorzeitig verloren geht. Neue Fragestellungen lassen sich auf dem vorhandenen Bestand beantworten, statt eine zusätzliche Erhebung anzustoßen. Der Aufwand verschiebt sich damit von der Vorverarbeitung hin zur laufenden Pflege des Katalogs.

Ein Data Lake bleibt genau so lange nutzbar, wie Katalog und Rechtevergabe gepflegt werden. Für personenbezogene Daten kommen eine Zweckbindung und eine Aufbewahrungsfrist hinzu, beides technisch durchgesetzt und nicht allein in einer Richtlinie beschrieben. So bleibt der Bestand auch nach Jahren auswertbar.