{"canonical_url":"https://engineer.company/de/glossary/etl/","content_markdown":"# ETL\n\n## Was es ist\n\nETL steht für Extract, Transform, Load: Daten werden aus den Systemen kopiert,\nin denen sie entstehen, in die von einem anderen System erwartete Form und\nBedeutung gebracht und dort geschrieben, meist in ein Data Warehouse. Die nahe\nverwandte Variante ELT behält die drei Schritte bei, lädt aber zuerst die\nRohdaten und transformiert sie im Zielsystem. Viele Teams schreiben ETL/ELT,\num beides abzudecken.\n\nJeder Buchstabe steht für eine eigene Aufgabe. Extract liest aus einer Quelle:\neiner ganzen Tabelle, einer Exportdatei, einer API oder nur den seit dem letzten\nLauf geänderten Zeilen. Diese werden über einen Zeitstempel wie `updated_at`\noder über Change Data Capture (CDC) gefunden, das die eigenen Aufzeichnungen\nder Datenbank zu jeder Änderung liest. Bei Transform werden Daten bereinigt und\nabgeglichen: Text wird in Datumswerte und Zahlen umgewandelt, Einheiten und\nZeitzonen werden vereinheitlicht, Duplikate entfernt und Codes in\nReferenztabellen nachgeschlagen. Anschließend wird das Ergebnis in das Modell\ndes Zielsystems gebracht, etwa in Fakten- und Dimensionstabellen. Load schreibt\ndas Ergebnis, entweder als Massenimport in eine leere Tabelle oder als\nZusammenführung, die vorhandene Zeilen aktualisiert und neue hinzufügt.\n\nDie Reihenfolge der letzten beiden Schritte entscheidet, wo die Arbeit läuft.\nKlassisches ETL transformiert auf einem separaten Server, bevor etwas das\nZielsystem erreicht. Das war sinnvoll, als Speicher und Rechenleistung im\nWarehouse knapp und teuer waren. ELT legt die Rohdaten in Staging-Tabellen im\nZielsystem ab und führt die Transformation dort in SQL aus. Die Rohdatenkopie\nbleibt verfügbar. Ändert sich eine Regel, lässt sich die Transformation deshalb\nerneut auf die historischen Daten anwenden, ohne diese ein zweites Mal zu\nextrahieren. Der Preis: Alles, was die Quelle gesendet hat, einschließlich\nnicht angeforderter Spalten, liegt nun im Warehouse und muss dort verwaltet und\nkontrolliert werden.\n\nPostgreSQL bietet für jeden Schritt eigene Werkzeuge. `COPY` bewegt Zeilen\nzwischen einer Tabelle und einer Datei im Text-, CSV- oder Binärformat und ist\nder schnellste Weg zum Laden. Das Lesen einer Datei auf dem Server erfordert\nSuperuser-Rechte oder die Rolle `pg_read_server_files`. Der psql-Befehl `\\copy`\nliest die Datei dagegen auf dem Client. `INSERT ... ON CONFLICT` und `MERGE`\nführen neue Zeilen mit vorhandenen zusammen. Logical Decoding verwandelt das\nWrite-Ahead Log für CDC in einen Strom von Zeilenänderungen, und eine Prozedur\nin PL/pgSQL kann die Transformation nahe an den Daten halten, die sie verändert.\n\n## Warum es wichtig ist\n\nDie meisten lohnenden Geschäftsfragen erfordern Daten aus mehreren Systemen.\nBestellungen liegen in einer Datenbank, Zahlungen im Export eines Anbieters,\nKundendaten in einem CRM. Solange sie nicht unter einheitlichen Regeln an einem\nOrt zusammengeführt werden, wird jede Antwort von Hand zusammengestellt, und\ndas Vorgehen ändert sich mit der ausführenden Person. Genau diese\nZusammenführung übernimmt ETL. Ein Warehouse ist nur so korrekt wie die\nLadevorgänge, die es füllen.\n\nIm Transformationsschritt hält ein Unternehmen außerdem fest, was seine Daten\nbedeuten. Welche Zeilen zählen als Verkauf, welchem Tag wird eine Zahlung um\nMitternacht zugerechnet, welcher Datensatz hat Vorrang, wenn zwei Kundeneinträge\nübereinstimmen? Wird das einmal im Ladevorgang entschieden, gilt die Antwort\nfür jeden nachgelagerten Bericht. Entscheidet jeder Bericht selbst, laufen die\nAntworten auseinander, und zwei Dashboards zeigen zwei Summen.\n\nDie Art der Extraktion bestimmt, wie der Aufwand wächst. Ein vollständiger\nNeuladevorgang kopiert jedes Mal alles. Das ist einfach und korrigiert sich\nselbst, weil der Fehler von gestern heute Nacht überschrieben wird. Die Kosten\nsteigen jedoch mit der gesamten Datenmenge. Ein inkrementeller Ladevorgang\nüberträgt nur Änderungen; seine Kosten steigen deshalb mit der Änderungsrate.\nEr muss sich merken, wo der letzte Lauf aufgehört hat, in der Quelle gelöschte\nZeilen erkennen und verspätete Zeilen mit alten Zeitstempeln annehmen. Die\nmeisten Systeme beginnen mit vollständigem Neuladen und stellen Tabelle für\nTabelle um, sobald die Nacht dafür nicht mehr ausreicht.\n\nDer laufende Aufwand entsteht dadurch, dass Ladevorgänge unbeaufsichtigt Code\nausführen, meist nachts und gegen Quellen, die sich ohne Ankündigung ändern.\nSie brauchen Protokolle darüber, was lief und wie viele Zeilen übertragen\nwurden, Alarme bei einem abgebrochenen Lauf und vor allem eine Eigenschaft:\nEin mit derselben Eingabe wiederholter Lauf sollte das Ziel exakt so\nhinterlassen wie ein einzelner Lauf. Ein solcher Ladevorgang lässt sich nach\njedem Fehler wiederholen, ohne dass vorher jemand nachsehen muss.\n\n## Wie es in der Praxis aussieht\n\nZersplitterte Pipelines verzögerten geschäftskritische Berichte in mehreren\nEntwicklungs- und Produktionsumgebungen mit PostgreSQL.\n[600 ETL/ELT-Pipelines wurden in PL/pgSQL geschrieben](/de/portfolio/engineered-600-pl-pgsql-etl-elt-pipelines/),\num sie zu ersetzen: ETL in der Größenordnung Hunderter routinemäßiger\nLadevorgänge. Primär- und Fremdschlüsselbedingungen sicherten bei den\nTransformationen die referenzielle Integrität, eindeutige und zusammengesetzte\nIndizes unterstützten die Joins, und Ausnahmebehandlung mit Transaktionskontrolle\nrollte einen fehlgeschlagenen Lauf zurück. Inkrementelle Ladevorgänge nutzten CDC\nund zeitstempelbasierte Deltas; Ausführungsprotokolle und Auditing unterstützten\nNachverfolgung und Fehlersuche. Geliefert wurden Transformationslogik,\nIntegritätsbedingungen, inkrementelles Laden und Ausführungsprotokolle. Der\nNachweis enthält weder einen Vergleichsbenchmark noch eine berechnete Fehlerquote.\n\nEine Migration ist ETL, das einmal läuft. Der Umzug einer Kartenanwendung von\nMicrosoft SQL Server zu PostgreSQL mit PostGIS erforderte,\n[über 50 Millionen Geodatensätze durch ETL-Pipelines zu übertragen](/de/portfolio/improved-gis-map-performance-10x-on-postgresql/).\nDabei rechneten die Transformationsschritte jede Koordinate in das\nReferenzsystem EPSG:4326 um. Nachdem die Datensätze im Ziel angekommen waren,\nlieferten räumliche Abfragen dort mit GiST- und SP-GiST-Indizes und einer\nabgestimmten Konfiguration statt durchschnittlich 2,5 Sekunden Ergebnisse in\nunter 250 Millisekunden, also zehnmal schneller. Die CPU-Last im Backend sank\num 65 %.\n\nÜber eine Netzwerkgrenze hinweg zeigen\n[sechs ETL/ELT-Pipelines](/de/portfolio/designed-and-ran-6-etl-elt-pipelines/)\nalle drei im Namen enthaltenen Arbeitsschritte in der Praxis. Die Extraktion bestand aus\ngeplanten Downloads komprimierter Archive von einem nur über ein IPsec-VPN\nerreichbaren Server. Skripte in Bash und Python sortierten die darin enthaltenen\nParquet-, CSV- und .bak-Dateien nach Typ und Spaltenlayout; die .bak-Sicherungen\nwurden in einer lokalen Instanz von MSSQL Server wiederhergestellt. Je nach\nFormat wurden die Daten mit bcp, psql oder SSIS in Staging-Schemas in MSSQL und\nPostgreSQL geladen, durch Prozeduren in PL/pgSQL und T-SQL bereinigt,\nnormalisiert und angereichert, dann mit gzip komprimiert und über einen Bucket\nin Google Cloud Storage nach Google BigQuery übertragen. Arbeit, die von Hand\nmindestens drei Stunden gedauert hatte, lief von Anfang bis Ende in unter\n20 Minuten. Die Synchronisierung wurde von wöchentlich auf täglich umgestellt.\n\n## Wo es schiefgeht\n\n**Ein wiederholter Lauf lädt dieselben Zeilen doppelt.** Ein Job fügt mit einem\neinfachen `INSERT` ein, bricht nach der Hälfte wegen eines Netzwerkfehlers ab,\nund der Scheduler startet ihn erneut von vorn. Die beim ersten Mal geschriebenen\nZeilen stehen nun doppelt in der Tabelle, und jede darauf aufbauende Summe ist\nzu hoch. Geben Sie dem Ziel einen Schlüssel, der eine Zeile fachlich\nidentifiziert, und führen Sie den Stapel mit\n`INSERT ... ON CONFLICT DO UPDATE` zusammen. PostgreSQL dokumentiert dies auch\nbei hoher Nebenläufigkeit als atomare Einfüge- oder Aktualisierungsoperation.\nAlternativ lässt sich `MERGE` verwenden. Eine Einschränkung: Eine einzelne\nAnweisung mit `ON CONFLICT DO UPDATE` weigert sich, dieselbe Zeile zweimal zu\nändern, und meldet eine Kardinalitätsverletzung. Ein Stapel mit wiederholten\nSchlüsseln muss daher zuerst auf eine Zeile je Schlüssel reduziert werden.\n\n```sql\nINSERT INTO meter_reading (meter_id, read_at, kwh)\nSELECT DISTINCT ON (meter_id, read_at) meter_id, read_at, kwh\nFROM staging_meter_reading\nORDER BY meter_id, read_at, received_at DESC\nON CONFLICT (meter_id, read_at)\nDO UPDATE SET kwh = EXCLUDED.kwh;\n```\n\n**Ein Massenimport bricht kurz vor dem Ende ab und hinterlässt eine vollere\nFestplatte.** `COPY FROM` schreibt die Zeilen nach und nach in die Tabelle.\nBricht der Befehl an einer fehlerhaften Zeile ab, bleiben diese Zeilen im\nZustand „gelöscht“ zurück: für Abfragen unsichtbar, aber auf der Platte, bis\n`VACUUM` den Platz freigibt. Ein Fehler kurz vor dem Ende einer großen Datei kann viel\nSpeicher verschwenden. PostgreSQL 17 führte `ON_ERROR ignore` ein. Damit werden\nZeilen in Text- oder CSV-Eingaben übersprungen, deren Werte sich nicht in den\nTyp ihrer Spalte umwandeln lassen. PostgreSQL 18 ergänzte `REJECT_LIMIT`, um die\nZahl der übersprungenen Zeilen zu begrenzen. Das gilt nur für Typumwandlungen;\neine Zeile, die eine Integritätsbedingung verletzt, stoppt den Befehl weiterhin.\nWer zuerst in eine Staging-Tabelle lädt, dort prüft und die guten Zeilen in\neiner Transaktion in die eigentliche Tabelle überträgt, hält eine schlechte\nDatei von den Daten fern, die Menschen lesen.\n\n**Change Data Capture füllt die Festplatte.** Logical Decoding liest Änderungen\nüber einen Replikations-Slot. Dieser hält jeden Teil des Write-Ahead Logs vor,\nden sein Konsument noch braucht, unabhängig davon, ob ein Konsument verbunden\nist. Stoppt der Leser, wächst das Log, bis die Platte voll ist. In extremen\nFällen fährt der Server herunter, um einen Überlauf der Transaktions-IDs zu\nverhindern. Die PostgreSQL-Dokumentation sagt klar: Ein nicht mehr benötigter\nSlot sollte entfernt werden. Nach einem Absturz kann ein Slot zudem die letzten\nÄnderungen erneut senden. Der Konsument muss daher mit Duplikaten umgehen\nkönnen; es ist wieder dieselbe Eigenschaft für wiederholte Läufe.\n\n**Der erste Bericht am Morgen ist nach einem großen Ladevorgang langsam.** Der\nPlaner entscheidet anhand von Statistiken zu jeder Tabelle, wie er eine Abfrage\nausführt. Ein Massenimport verändert die Daten, auf denen sie beruhen.\nAutovacuum kann die Statistiken selbst aktualisieren, aber nicht immer vor dem\nersten Bericht. `ANALYZE` als letzter Schritt des Ladevorgangs behebt das. Für\nsehr große Ladevorgänge in eine vorhandene Tabelle ergänzt der PostgreSQL-Leitfaden\nzum Befüllen einer Datenbank, dass sich das Entfernen und anschließende\nNeuanlegen von Indizes und Fremdschlüsseln lohnen kann: Sie gesammelt aufzubauen\nist schneller, als sie Zeile für Zeile zu aktualisieren. Während sie fehlen,\nentfallen jedoch auch die Fehlerprüfungen. Vor dem Entfernen eines eindeutigen\nIndex ist deshalb besondere Vorsicht angebracht.\n\n## Weiterführende Lektüre\n\n- [COPY](https://www.postgresql.org/docs/current/sql-copy.html) — der Befehl\n  für Massenimporte, seine Formate und Optionen sowie die Rückstände eines\n  fehlgeschlagenen Ladevorgangs.\n- [Befüllen einer Datenbank](https://www.postgresql.org/docs/current/populate.html)\n  — PostgreSQL-Empfehlungen für große Ladevorgänge, von einer einzelnen\n  Transaktion und `COPY` bis zum Neuaufbau der Indizes und anschließendem\n  `ANALYZE`.\n- [MERGE](https://www.postgresql.org/docs/current/sql-merge.html) — Einfügen,\n  Aktualisieren und Löschen in einer Anweisung, abhängig davon, wie jede\n  Quellzeile zum Ziel passt.\n- [INSERT](https://www.postgresql.org/docs/current/sql-insert.html) — die\n  Klausel `ON CONFLICT`, ihr atomares Upsert und das Verbot, eine Zeile zweimal\n  zu ändern.\n- [Konzepte des Logical Decoding](https://www.postgresql.org/docs/current/logicaldecoding-explanation.html)\n  — wie Änderungen aus dem Write-Ahead Log gelesen werden und warum ein\n  ungenutzter Replikations-Slot entfernt werden muss.\n\n\u003chttps://engineer.company/de/glossary/etl/\u003e\n","date_modified":"2026-11-08T09:42:23Z","description":"Daten extrahieren, umformen und laden: ETL und ELT im Vergleich, praktische Pipelines und vier typische Fehler bei nächtlichen Ladevorgängen.","formats":{"gemtext":"https://engineer.company/de/glossary/etl/index.gmi","gopher":"https://engineer.company/de/glossary/etl/gophermap","html":"https://engineer.company/de/glossary/etl/","json":"https://engineer.company/de/glossary/etl/index.json","markdown":"https://engineer.company/de/glossary/etl/index.md","pdf":"https://engineer.company/de/glossary/etl/index.pdf"},"kind":"page","language":"de","title":"Was ist ETL?","url":"https://engineer.company/de/glossary/etl/","version":1}