Was bedeutet Datenpipeline?

Eine Datenpipeline ist eine festgelegte Kette von Schritten, die Daten aus Quellsystemen abholt, umformt und an ein Zielsystem übergibt. Sie läuft nach einem festen Zeitplan oder wird durch ein Ereignis ausgelöst und protokolliert dabei jeden einzelnen Durchlauf. Anders als ein einmaliger Import ist eine Datenpipeline auf Wiederholung ausgelegt und behandelt Fehler nach vorher festgelegten Regeln.

Der klassische Aufbau folgt dem Muster Extraktion, Transformation, Laden. Die Extraktion liest über Schnittstellen, Datenbankabfragen oder Dateiabholung aus den Quellsystemen. In der Transformation werden Formate vereinheitlicht, Dubletten entfernt und Prüfregeln angewandt, etwa auf Pflichtfelder und zulässige Wertebereiche. Orchestrierer wie Apache Airflow steuern Reihenfolge und Abhängigkeiten und starten fehlgeschlagene Schritte erneut. Bei fortlaufenden Datenströmen tritt die Stream-Verarbeitung an die Stelle des nächtlichen Batchlaufs.

Eine Datenpipeline lohnt sich dort, wo dieselben Daten regelmäßig aus mehreren Systemen zusammengeführt werden müssen. Das reicht vom nächtlichen Abgleich von Zahlungseingängen über die Übernahme von Stammdaten zwischen zwei Anwendungen bis zur Aufbereitung von Messwerten für eine Auswertung. Für einen einmaligen Umzug von Daten genügt ein Skript.

Der Vorteil gegenüber wiederkehrender Handarbeit liegt darin, dass jeder Durchlauf gleich abläuft und damit vergleichbare Stände liefert. Prüfregeln fangen fehlerhafte Datensätze ab, bevor diese im Zielsystem landen. Und weil jeder Lauf protokolliert wird, lässt sich ein falscher Stand auf den Durchlauf und die Regel zurückführen, die ihn erzeugt haben.

Ein ausbleibender Lauf muss einen Alarm auslösen, sonst fällt der Ausfall erst auf, wenn am Monatsende Zahlen fehlen. Für personenbezogene Daten gehören Löschregeln in dieselbe Kette wie die Prüfregeln, damit sich in den Zwischenschritten keine Kopien ansammeln.