{"canonical_url":"https://engineer.company/de/glossary/pipeline/","content_markdown":"# Pipeline\n\n## Was es ist\n\nEine Pipeline, genauer eine Datenpipeline, ist eine Reihe von Aufgaben, die in\nfester Reihenfolge laufen. Jede übernimmt das Ergebnis der vorherigen, sodass\nRohdatensätze aus den erzeugenden Systemen am Ende bereinigt, zusammengeführt und\ndort gespeichert sind, wo Berichte, Dashboards oder andere Programme sie lesen\nkönnen. Der Name kommt aus der Unix-Shell, in der `|` die Ausgabe eines Befehls\nan den nächsten weiterreicht. Die meisten Pipelines laufen unbeaufsichtigt, nach\neinem Zeitplan oder sobald eine neue Datei eintrifft.\n\nNur wenige Pipelines bilden eine gerade Linie. Eine Aufgabe, die die\nTagesumsätze lädt, braucht vielleicht zuerst sowohl die Wechselkurse als auch\ndie Kundenliste, während diese beiden parallel geladen werden können. Die\nAufgaben und die Pfeile für „muss vorher fertig sein“ dazwischen bilden einen\ngerichteten azyklischen Graphen: Jeder Pfeil zeigt in eine Richtung, und keine\nAufgabe kann am Ende auf sich selbst warten. Apache Airflow, eine quelloffene\nPlattform zum Planen und Überwachen solcher Abläufe, nennt jeden Graphen Dag.\nDie Schreibweise lautet bewusst Dag statt DAG, weil die Bedeutung in Airflow\nüber die reine mathematische Struktur hinausgewachsen ist.\n\nEine Batch-Pipeline startet nach einem Zeitplan oder bei einem Ereignis,\nverarbeitet einen begrenzten Datenausschnitt, etwa die Zählerstände eines Tages,\nund endet. Eine Streaming-Pipeline läuft weiter und reicht jedes Ereignis bei\nseiner Ankunft weiter. Airflow beschreibt sich als Plattform zur Orchestrierung\nvon Batch-Abläufen, die sich am besten für zeitgesteuerte Arbeit mit eindeutigem\nAnfang und Ende eignet.\n\nDie einfachste Pipeline ist eine crontab-Zeile, die morgens um zwei ein Skript\nstartet. Das genügt, bis mehrere Skripte nacheinander laufen müssen, eines davon\nscheitert und jemand herausfinden muss, welche gelaufen sind und was erneut zu\nstarten ist. Ein Orchestrator übernimmt diese Buchführung: Er speichert den\nGraphen, startet jede Aufgabe nach dem Erfolg ihrer Vorgänger, wiederholt\nfehlgeschlagene Aufgaben, führt Protokolle je Aufgabe und je Lauf und hält fest,\nwelche Datenzeiträume jeder Lauf abgedeckt hat. In Airflow deckt jeder geplante\nLauf ein Datenintervall ab. Ein Tageslauf für den 1. Januar startet kurz nach\nMitternacht am 2., wenn der Tag vorbei ist. Seine Aufgaben können Grenzen wie\n`data_interval_start` lesen und wissen so genau, welcher Datenausschnitt ihnen\ngehört.\n\n## Warum es wichtig ist\n\nEine Pipeline macht aus einem Verfahren Code. Die Reihenfolge der Aufgaben, die\nPrüfungen dazwischen, das Verhalten bei einem Fehler und die Häufigkeit der\nAusführung wandern aus dem Gedächtnis einer Person in Dateien, die wie andere\nSoftware geprüft, versioniert und getestet werden können. Airflow definiert\nseine Abläufe vollständig in Python, nennt diesen Ansatz Workflows as Code und\nführt Versionsverwaltung und Tests als Vorteile an.\n\nAuch ein Fehler bekommt einen Ort. Besteht der gesamte Ablauf aus einem langen\nSkript, bedeutet ein Absturz in Minute vierzig einen Neustart bei Minute null.\nBei einer Aufteilung in Aufgaben mit gespeichertem Zustand zeigt ein\nfehlgeschlagener Lauf, welche Aufgabe aus welchem Grund angehalten hat. Nur\ndiese Aufgabe und ihre Nachfolger müssen erneut laufen. Airflow erlaubt dem\nBetriebspersonal,\nausschließlich fehlgeschlagene Aufgaben zu wiederholen oder Läufe für einen\nfrüheren Zeitraum nachzuholen. So erreicht eine am Mittwoch vorgenommene\nKorrektur auch die Daten vom Montag.\n\nSicher wird die Wiederholung erst, wenn jede Aufgabe dafür geschrieben ist.\nAirflows Leitfaden zu bewährten Verfahren fordert dazu auf, jede Aufgabe wie\neine Datenbanktransaktion zu gestalten, die keine Teilergebnisse hinterlässt\nund „bei jeder erneuten Ausführung dasselbe Ergebnis erzeugt“. Eine so gebaute\nAufgabe kann der Scheduler morgens um drei erneut versuchen, nach einer\nKorrektur wiederholen oder für den vergangenen Monat nochmals ausführen, ohne\ndass jemand zuerst das Ziel prüfen muss.\n\nDer Preis ist zusätzliche Software, für die jemand verantwortlich ist. Ein\nOrchestrator ist ein weiterer Dienst mit eigener Datenbank, Aktualisierungen\nund Berechtigungen. Jede Pipeline darin ist Code, der Reviews und Tests\nbraucht. Bei zwei Skripten mit einem gemeinsamen Zeitplan können cron und eine\nProtokolldatei die angemessene Antwort sein. Der Nutzen eines Orchestrators\nwächst mit der Zahl voneinander abhängiger Aufgaben, der Zahl der Personen, die\ndie ausgeführten Schritte sehen müssen, und den Kosten eines Morgenberichts,\ndessen Datenladung auf halbem Weg abgebrochen ist.\n\n## Wie es in der Praxis aussieht\n\nViele Pipelines auf dieselbe Weise zu betreiben, war auf einer Plattform das\nProblem. Dort wurden\n[zwanzig GIS-Datenpipelines und der ETL-Ablauf für die Anwendungsdaten](/de/portfolio/automated-delivery-of-20-gis-data-pipelines/)\nvon Hand ausgeliefert und überwacht. Dabei bestand ständig das Risiko, dass\neine unbemerkt ausfiel und nachgelagerte Daten falsch waren, bevor es jemand\nbemerkte. Alle wurden in eine automatisierte Auslieferung überführt. Planung,\nProtokollierung und Fehlerbehandlung wurden vereinheitlicht, damit jede\nPipeline gleich arbeitete und ein Fehler sichtbar wurde. Alles wurde in die\nbestehende Infrastrukturautomatisierung und Berichterstattung eingebunden.\nDanach liefen alle zwanzig automatisch und vorhersehbar, mit aktuellen Daten\nund ohne jemanden, der sie von Hand durch die Schritte führte.\n\nEine Pipeline kann auch mit einem einzigen Befehl etwas Vollständiges aufbauen.\nIn einem dokumentierten Entwicklungsstand bezog ein\n[datenbankgestützter Generator für Lebenslauf und Portfolio](/de/portfolio/built-a-database-driven-cv-generator/)\njedes Dokument aus einer SQLite-Datenbank mit 23 Tabellen. Eine Pipeline aus\n19 Schritten baute sie von einer leeren Datei bis zur vollständigen Datenbank\nauf. Die Schritte hatten eine feste Reihenfolge, und jeder war so geschrieben,\ndass er gefahrlos wiederholt werden konnte. Dadurch konnte die Pipeline auch\ngegen eine vorhandene Datenbank laufen, ohne eine Zeile zu duplizieren.\nEinundvierzig Python-Module mit insgesamt 10.580 Zeilen erzeugten anschließend\nsechs Ausgabeformate aus dieser einen Quelle, mit nur zwei\nLaufzeitabhängigkeiten. Diese Zahlen beschreiben die Implementierung in jenem\ndokumentierten Entwicklungsstand.\n\nInnerhalb einer einzelnen Aufgabe zählt Geschwindigkeit ebenso wie die\nReihenfolge. Eine\n[Pipeline zur stündlichen Aggregation von Stromdaten](/de/portfolio/a-month-of-meter-readings-in-180-milliseconds/)\nübernimmt JSONL-Daten, die stündlich, alle 15 Minuten oder in unregelmäßigen\nAbständen gemeldet werden. Sie richtet sie an strikten Stundenintervallen aus,\nsummiert den Erzeugungsmix, addiert Importe, zieht Exporte ab und erzeugt pro\nStunde und Zone eine Zeile. Sie wurde auf drei Arten gebaut: in Python, in JQ\nund in SQL auf PostgreSQL. Jede Variante wurde mit Daten für einen Tag und für\ndreißig Tage gemessen. Die Python-Variante war mit 34 ms für einen Tag und\n180 ms für dreißig Tage am schnellsten. Ihr Code wurde so geschrieben, dass er\nauf weitere Zonen erweitert oder in eine ETL-Pipeline eingebunden werden\nkonnte.\n\n## Wo es schiefgeht\n\n**Ein erneuter Lauf liefert ein anderes Ergebnis.** Eine tägliche Aufgabe hängt\nihre Summen mit `INSERT` an, scheitert auf halbem Weg und wird vom Scheduler\nwiederholt. Dadurch sind die vor dem Fehler geschriebenen Zeilen nun doppelt\nvorhanden. Eine Aufgabe, die alles seit der aktuellen Zeit minus einem Tag\nabfragt, liest beim zweiten Versuch einen anderen Ausschnitt als beim ersten.\nEine Aufgabe, die die neueste Version einer Eingabe liest, übernimmt alles, was\nsich dazwischen geändert hat. Airflows Leitfaden nennt alle drei Fälle:\nErsetzen Sie `INSERT` durch ein Upsert, lesen und schreiben Sie eine bestimmte,\nnach dem `data_interval_start` des Laufs ausgewählte Partition und halten Sie\n`now()` aus jeder kritischen Berechnung heraus. Bei einer stündlichen\nÜbersichtstabelle in PostgreSQL ist es eine einfache Möglichkeit, das gesamte\nIntervall innerhalb einer einzigen Transaktion zu ersetzen.\n\n```sql\nBEGIN;\nDELETE FROM hourly_load\nWHERE hour_start \u003e= :'start' AND hour_start \u003c :'end';\nINSERT INTO hourly_load (zone, hour_start, mwh)\nSELECT zone, date_trunc('hour', read_at), sum(mwh)\nFROM reading\nWHERE read_at \u003e= :'start' AND read_at \u003c :'end'\nGROUP BY zone, date_trunc('hour', read_at);\nCOMMIT;\n```\n\nMit `psql -v ON_ERROR_STOP=1 -v start=... -v end=... -f hourly_load.sql`\nausgeführt, wobei der Orchestrator Anfang und Ende des Datenintervalls übergibt,\nlöscht und schreibt die Aufgabe genau die Zeilen dieses Intervalls neu. Ein\nzweiter Lauf hinterlässt die Tabelle deshalb so wie der erste. Die Form\n`:'start'` ist die eigene Syntax von psql, um eine Variable als quotiertes\nSQL-Literal einzusetzen.\n\n**Eine Aufgabe wird grün abgeschlossen, aber die Daten sind falsch.** Ein\nOrchestrator sieht, ob der Prozess einer Aufgabe sauber beendet wurde, und\nsonst nichts. psql ist ein besonders deutliches Beispiel: Standardmäßig läuft\nes nach einem Fehler im Skript weiter und gibt der Shell 0 zurück. Ein Schritt\nmit `psql -f` meldet daher auch dann Erfolg, wenn eine Anweisung darin\nfehlgeschlagen ist. Mit gesetztem `ON_ERROR_STOP` hält psql beim ersten Fehler\nan und endet mit Code 3. So schlägt der Schritt an der richtigen Stelle fehl.\nEin sauberes Ende beweist trotzdem nur, dass das Programm gelaufen ist.\nDeshalb empfiehlt Airflows Leitfaden Selbstprüfungen: eine nachgelagerte\nAufgabe, die vor dem ersten Lesen bestätigt, dass die Partition geschrieben\nwurde und die Daten plausibel sind. Hängt ein Lauf, statt mit einem Fehler\nabzubrechen, lösen Deadline Alerts nach Überschreiten einer Zeitgrenze einen\nCallback aus, etwa eine E-Mail. Sie wurden in Airflow 3.1 als Ersatz für die in\n3.0 entfernte SLA-Funktion eingeführt.\n\n**Das erneute Einschalten einer Pipeline löst eine Flut von Läufen aus.** Mit\n`catchup=True` erzeugt der Scheduler einen Lauf für jedes seit dem Startdatum\nausgelassene Datenintervall. Die Airflow-Dokumentation ergänzt, dass Catchup\nauch dann ausgelöst wird, wenn ein Dag eine Zeit lang ausgeschaltet und danach\nwieder eingeschaltet wird. Eine tägliche Pipeline, die einen Monat pausiert war, kann mit dreißig\nanstehenden Läufen gegen dieselbe Quelle zurückkehren. Der\nStandard `catchup_by_default=False` lässt den Scheduler nur einen Lauf für das\nneueste Intervall erzeugen. Laut Dokumentation sollte Catchup bei einem Dag\nausgeschaltet bleiben, dessen Aufgaben die aktuelle Zeit statt ihres\nIntervalls lesen. Vergangene Zeiträume werden besser gezielt mit\n`airflow backfill create` nachgeholt. Der Befehl übernimmt einen Datumsbereich\nund über `--max-active-runs` eine Grenze für parallele Läufe.\n\n**Aufwendiger Code auf oberster Ebene einer Dag-Datei bremst den Scheduler.**\nAirflow parst jede Dag-Datei immer wieder, mit mindestens\n`min_file_process_interval` Sekunden zwischen den Durchläufen. Code auf oberster\nDateiebene außerhalb einer Aufgabe läuft deshalb viel häufiger als die\nPipeline selbst. Eine Datenbankabfrage, ein Netzwerkaufruf oder ein langsamer\nImport dort kostet bei jedem Parsen Zeit. Der Leitfaden zeigt ein Beispiel, in\ndem ein solcher Aufruf das Parsen eines Dags um zusätzliche 1.000 Sekunden\nverlängert. Beschränken Sie die oberste Ebene auf die Deklaration der Aufgaben\nund ihrer Reihenfolge. Verschieben Sie aufwendige Importe und Aufrufe in die\nAufgabenfunktionen, die sie benötigen.\n\n## Weiterführende Lektüre\n\n- [Apache Airflow](https://airflow.apache.org/docs/apache-airflow/stable/index.html)\n  — der eigene Überblick des Projekts: Workflows als Python-Code,\n  Batch-Orchestrierung, das Nachholen vergangener Zeiträume und das Wiederholen\n  ausschließlich fehlgeschlagener Aufgaben.\n- [Bewährte Verfahren](https://airflow.apache.org/docs/apache-airflow/stable/best-practices.html)\n  — Aufgaben als Transaktionen, dasselbe Ergebnis bei jeder Wiederholung, Code\n  auf oberster Ebene und Selbstprüfungen.\n- [Dags](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html)\n  — wie ein Dag seinen Zeitplan, seine Aufgaben, Abhängigkeiten und\n  Standardargumente wie Wiederholungen deklariert und wie Deadline Alerts\n  hineinpassen.\n- [Dag-Läufe](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dag-run.html)\n  — Datenintervalle, Catchup, Backfill und das Zurücksetzen von Aufgaben, damit\n  sie erneut laufen.\n- [Aufgaben](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/tasks.html)\n  — Abhängigkeiten zwischen Aufgaben, Zeitlimits, Wiederholungsregeln und der\n  Wechsel von SLAs zu Deadline Alerts.\n- [psql](https://www.postgresql.org/docs/current/app-psql.html) — Variablen und\n  ihre Quotierung, `ON_ERROR_STOP` und die Exitcodes, die ein Orchestrator liest.\n\n\u003chttps://engineer.company/de/glossary/pipeline/\u003e\n","date_modified":"2026-11-09T21:50:25Z","description":"Wie eine Datenpipeline Aufgaben ordnet, plant und wiederholt, was Orchestrierung gegenüber crontab ergänzt und welche vier Fehler Läufe stören.","formats":{"gemtext":"https://engineer.company/de/glossary/pipeline/index.gmi","gopher":"https://engineer.company/de/glossary/pipeline/gophermap","html":"https://engineer.company/de/glossary/pipeline/","json":"https://engineer.company/de/glossary/pipeline/index.json","markdown":"https://engineer.company/de/glossary/pipeline/index.md","pdf":"https://engineer.company/de/glossary/pipeline/index.pdf"},"kind":"page","language":"de","title":"Was ist eine Pipeline?","url":"https://engineer.company/de/glossary/pipeline/","version":1}