{"canonical_url":"https://engineer.company/de/glossary/data-lake/","content_markdown":"# Data Lake\n\n## Was es ist\n\nEin Data Lake ist ein Speicher, der Rohdaten so aufbewahrt, wie sie aus ihrer Quelle eintreffen, mit dem höchsten von der Quelle gelieferten Detailgrad. Damit lassen sich später auch Fragen beantworten, die bisher niemand gestellt hat. In der Praxis liegen die Daten in Dateien, oft in einem spaltenorientierten Format wie Apache Parquet, auf einem verteilten Dateisystem oder in einem Objektspeicher. Abfrage-Engines lesen diese Dateien direkt.\n\nDer Begriff stammt von James Dixon von Pentaho. In einem Blogbeitrag vom 14. Oktober 2010, erschienen in der Woche, in der Pentaho seine erste Hadoop-Version ankündigte, fasste er zusammen, was ihm Unternehmen mit Hadoop berichtet hatten. Acht oder neun von zehn hatten es mit strukturierten oder teilstrukturierten statt mit unstrukturierten Daten zu tun. Meist stammten sie aus einer einzigen Anwendung oder einem einzigen System. Einige Fragen an die Daten waren bekannt, viele weitere würden später entstehen, und mehrere Nutzergruppen wollten sie stellen. Das Volumen passte aus technischen Gründen oder wegen unvertretbarer Kosten nicht in eine relationale Datenbank. Die übliche Antwort war gewesen, die interessantesten Attribute auszuwählen und zu einem Data Mart zu aggregieren. Das beantwortet nur die vorab gewählten Fragen, und die Aggregation verbirgt die feinsten Details endgültig.\n\nDixon bot stattdessen ein Bild an. Ein Data Mart ist wie abgefülltes Wasser: gereinigt, verpackt und in eine leicht konsumierbare Form gebracht. Ein Data Lake ist in seinen Worten „ein großes Gewässer in einem natürlicheren Zustand“. Eine Quelle füllt ihn ständig auf. Wer eine Frage hat, kann kommen und schauen, hineinwaten oder eine Probe nehmen.\n\nVier Jahre später griff Dixon den Begriff erneut auf, weil viele unterschiedliche Definitionen kursierten. Er bekräftigte seine eigene: Ein Lake enthält nicht voraggregierte Daten aus einer Quelle, und eine Organisation kann mehrere Lakes haben. Zusammengeführte Daten aus vielen Systemen waren in seinem Bild ein Wassergarten statt eines Sees. Ebenso deutlich sagte er, dass ein Lake 2010 weder eine Datenbank noch einen Data Mart oder ein Data Warehouse ersetzte. Mehrere der Definitionen, auf die er antwortete, beschrieben einen gemeinsamen Speicher für Rohdaten aus vielen Systemen. Das ist der weiter gefasste Sinn des Wortes. Man sollte wissen, welchen ein Kollege meint.\n\n## Warum es wichtig ist\n\nJede Zusammenfassung entscheidet darüber, welche Fragen zählen. Eine tägliche Umsatzsumme pro Geschäft sagt, wie viel jedes Geschäft verkauft hat. Sie sagt nicht, welche Stunde am stärksten war, welche Produkte Menschen ansahen und nicht kauften oder ob ein Kunde vor der Bestellung dreimal zurückkam. Wird nur die Summe aufbewahrt, gehen diese Fragen endgültig verloren: Die Zeilen, die sie beantworten könnten, wurden bei ihrer Berechnung verworfen. Dixons Argument war, dass die Fragen nach den Daten eintreffen. Die Rohdatensätze sollten daher in ihrer feinsten Granularität erhalten bleiben und erst aggregiert werden, wenn die Frage bekannt ist.\n\nDas macht das Warehouse nicht überflüssig. Dixon beschrieb, wie die Data Marts und Warehouses einer Organisation mit Aggregationen aus dem Lake befüllt werden, während Ad-hoc-Fragen direkt an den Lake gehen. Das Warehouse bleibt der Ort für die Zahlen, auf die sich die Organisation geeinigt hat. Zum Lake geht man, wenn eine neue Frage Details braucht, die das Warehouse nie aufbewahrt hat, und wenn eine Warehouse-Tabelle nach einer geänderten Definition neu aufgebaut werden muss.\n\nDas Dateiformat zählt ebenso viel wie die Idee. Parquet speichert jede Spalte einer Zeilengruppe in einem eigenen Block. Die Metadaten am Dateiende halten fest, wo jeder Block beginnt. Ein Leser prüft zuerst diese Metadaten und ruft dann nur die benötigten Spaltenblöcke ab. Eine Abfrage auf drei von vierzig Spalten liest die übrigen siebenunddreißig deshalb nicht. Parquet ist ein offenes Format, und jede Datei trägt ihre eigenen Metadaten. Daher kann jede Engine mit Parquet-Unterstützung denselben Ordner abfragen, auch DuckDB auf einem Laptop, ohne vorherigen Export.\n\n## Wie es in der Praxis aussieht\n\nEin Onlineshop erfasst jeden Produktaufruf, jedes Hinzufügen zum Warenkorb und jeden Kauf. Statt Tagessummen zu bilden, behält er jedes Ereignis und schreibt die Ereignisse als Parquet-Dateien, mit einem Ordner pro Tag. In DuckDB 2.0 sind beide Schritte gewöhnliches SQL:\n\n```sql\nCREATE TABLE shop_events AS\nSELECT * FROM (VALUES\n  (TIMESTAMP '2026-10-26 09:14:03', 'view',     'boots-41', NULL::INTEGER),\n  (TIMESTAMP '2026-10-26 09:15:40', 'cart',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-26 09:17:12', 'purchase', 'boots-41', 1200),\n  (TIMESTAMP '2026-10-27 11:02:55', 'view',     'jacket-m', NULL),\n  (TIMESTAMP '2026-10-27 11:03:30', 'view',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-27 11:05:01', 'cart',     'jacket-m', NULL)\n) t(occurred_at, event, product, amount);\n\nCOPY (SELECT *, CAST(occurred_at AS DATE) AS day FROM shop_events)\nTO 'events' (FORMAT parquet, PARTITION_BY (day));\n```\n\n`PARTITION_BY` akzeptiert nur Spaltennamen, keine Ausdrücke. Deshalb wird der Tag im `SELECT` berechnet. DuckDB schreibt pro Wert einen Ordner. Die Namen folgen der Form Schlüssel=Wert, die seine Dokumentation als Hive-Partitionierung bezeichnet:\n\n```text\nevents/day=2026-10-26/data_0.parquet\nevents/day=2026-10-27/data_0.parquet\n```\n\nEine Frage zu einem einzelnen Tag filtert auf dieser Spalte:\n\n```sql\nSELECT event, count(*) AS n\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  day = DATE '2026-10-27'\nGROUP  BY event\nORDER  BY n DESC;\n-- view 2, cart 1\n```\n\nDuckDB reicht einen Filter auf einer Partitionsspalte bis zu den Ordnernamen durch und überspringt Dateien, die nicht passen können. `EXPLAIN ANALYZE` meldet bei dieser Abfrage, dass eine von zwei Dateien gelesen wurde. Bei einem Jahr mit Tagesordnern würde dieselbe Frage einen von 365 Ordnern öffnen. Die Spalte `day` kommt ohne ausdrückliche Vorgabe als `DATE` zurück, weil DuckDB Datumswerte, Zeitstempel und große Ganzzahlen in Ordnernamen standardmäßig erkennt. Auch die Hive-Partitionierung aktiviert es selbst, wenn die Ordner dem Muster Schlüssel=Wert folgen. Die Option in diesen Abfragen macht die Absicht also nur sichtbar.\n\nNun eine nicht vorab geplante Frage: Welche Produkte wurden am häufigsten angesehen?\n\n```sql\nSELECT product, count(*) AS views\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  event = 'view'\nGROUP  BY product\nORDER  BY views DESC, product;\n-- boots-41 2, jacket-m 1\n```\n\nEine Tabelle mit täglichen Kaufsummen könnte das nie beantworten. Die Rohereignisse beantworten es mit einer weiteren Abfrage auf demselben Ordner, weil beim Eingang jedes Ereignis erhalten blieb.\n\nDie [Leistung zur Konzeption von Data Warehouses](/de/services/data-warehousing/) des Unternehmens beschreibt ihr Ziel als einen Ort, an dem alle Zahlen übereinstimmen. So bringen zwei Abteilungen nicht länger zwei Antworten in dieselbe Besprechung. Ein Lake wie dieser liegt vor einem solchen Warehouse: Das Warehouse enthält die abgestimmten Zahlen, und die Rohereignisse bleiben für die nächste Frage verfügbar.\n\n## Wo es schiefgeht\n\n**Dateien, die niemand erklären kann.** Einen Ordner mit Parquet-Dateien ohne Aufzeichnung ihrer Herkunft, Verantwortlichen oder Spaltenbedeutungen kann nur sein Ersteller als Lake nutzen. Als Kritiker 2014 einwandten, ein Lake habe keine Metadaten, antwortete Dixon, dass die Idee das nirgends vorgebe. Später ergänzte er, dass jeder, der Daten verschiedener Quellen zusammenführt oder ihre Herkunft nachverfolgt, Metadaten braucht. Halten Sie pro Datenbestand einen Katalogeintrag mit Quelle, Verantwortlichem, Spalten, Ladezeitpunkt und Aufbewahrungsfrist fest. Machen Sie das Schreiben dieses Eintrags zum Bestandteil des Ladejobs.\n\n**Tausende winzige Dateien.** Jede Parquet-Datei trägt einen eigenen Metadatenblock, den ein Leser vor den Daten lesen muss. Ein Datenstrom, der pro Minute eine kleine Datei schreibt, hinterlässt in einem Monat mit 30 Tagen mehr als 40.000 Dateien. Jede wird bei jedem vollständigen Scan geöffnet und ausgewertet. Bündeln Sie Schreibvorgänge in weniger, größere Dateien und verdichten Sie alte Partitionen nach Zeitplan. Das Tabellenformat Apache Iceberg hält eine solche Verdichtung als `replace`-Snapshot fest: Mehrere Dateien werden gegen eine mit denselben Zeilen ausgetauscht.\n\n**Leser sehen unvollständig geladene Daten.** Ein Job, der zehn Dateien schreiben soll und nach sechs stoppt, hinterlässt sechs Dateien im Ordner. Alles, was den Ordner auflistet, liest sie. Ein einfaches Verzeichnis kennt keinen Commit. Ein Tabellenformat behebt das. Iceberg verfolgt einzelne Datendateien über Metadaten statt über ganze Verzeichnisse und schreibt eine Änderung fest, indem es atomar eine Metadatendatei gegen die nächste austauscht. Leser verwenden immer einen festgeschriebenen Snapshot. Schreibvorgänge werden nie teilweise sichtbar, und Leser setzen keine Sperren.\n\n**Umbenannte Spalten teilen die Historie auf.** Alte Dateien behalten den alten Spaltennamen, und jede Abfrage muss beide kennen. Iceberg wählt Spalten in Datendateien anhand einer Feld-ID statt anhand ihres Namens aus. Eine Spalte kann deshalb umbenannt, hinzugefügt, gelöscht oder verschoben werden, auch innerhalb verschachtelter Strukturen, ohne bereits geschriebene Dateien umzuschreiben.\n\n**Ein einziger Lake für alle Systeme.** Alle Datenbanken einer Organisation an einen Ort zu schütten und quer über sie zu verknüpfen, nannte Dixon einen Wassergarten. Er sprach sich für mehrere Speicherarten im Unternehmen aus, jeweils passend zu ihren Daten und Abfragen. Sein Rat war, für jede Aufgabe das beste Werkzeug zu verwenden: eine transaktionale Datenbank für transaktionale Zwecke und eine analytische für analytische. Beginnen Sie einen Lake mit einer Quelle und echten offenen Fragen. Bauen Sie die integrierten, abgestimmten Zahlen in einem daraus befüllten Warehouse auf.\n\n**Personenbezogene Daten bleiben für immer.** Ein auf vollständiges Aufbewahren ausgelegter Speicher kollidiert mit Löschanträgen und Aufbewahrungsgrenzen. Iceberg Version 2 kann einzelne Zeilen löschen, indem es Löschdateien schreibt, ohne die Datendateien umzuschreiben. Die ursprünglichen Bytes bleiben deshalb im Speicher. Sie können erst verschwinden, wenn die Datendateien neu geschrieben wurden und die älteren Snapshots, die sie noch aufführen, abgelaufen sind. Danach können die Dateien physisch gelöscht werden. Halten Sie direkte Identifikatoren möglichst aus Rohereignissen heraus. Partitionieren Sie so, dass bei Ablauf der Aufbewahrungsfrist ganze Ordner entfallen, und planen Sie nach Löschungen Verdichtung und Snapshot-Ablauf ein.\n\n## Weiterführende Lektüre\n\n- [Pentaho, Hadoop und Data Lakes](https://jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/)\n  — James Dixons Beitrag vom Oktober 2010, der den Begriff und den Vergleich mit abgefülltem Wasser einführte.\n- [Data Lakes erneut betrachtet](https://jamesdixon.wordpress.com/2014/09/25/data-lakes-revisited/)\n  — Dixons Nachtrag von 2014: eine Quelle pro Lake, der Wassergarten und seine Antworten auf die Kritiker.\n- [Dateiformat](https://parquet.apache.org/docs/file-format/) — der Parquet-Aufbau mit Zeilengruppen, Spaltenblöcken und nach den Daten geschriebenen Dateimetadaten.\n- [Iceberg-Tabellenspezifikation](https://iceberg.apache.org/spec/) — die Apache-Iceberg-Spezifikation: Snapshots, atomare Commits, Schemaänderungen über Feld-IDs, Löschdateien und Snapshot-Ablauf.\n- [Hive-Partitionierung](https://duckdb.org/docs/2.0/data/partitioning/hive_partitioning.html)\n  — DuckDBs Dokumentation von Schlüssel=Wert-Ordnern, Filterweitergabe und Erkennung von Partitionstypen.\n\n\u003chttps://engineer.company/de/glossary/data-lake/\u003e\n","date_modified":"2026-11-08T09:42:23Z","description":"Was ein Data Lake ist: Dixons Idee von 2010, unveränderte Rohdaten, partitioniertes Parquet in DuckDB und typische Fehler beim Betrieb.","formats":{"gemtext":"https://engineer.company/de/glossary/data-lake/index.gmi","gopher":"https://engineer.company/de/glossary/data-lake/gophermap","html":"https://engineer.company/de/glossary/data-lake/","json":"https://engineer.company/de/glossary/data-lake/index.json","markdown":"https://engineer.company/de/glossary/data-lake/index.md","pdf":"https://engineer.company/de/glossary/data-lake/index.pdf"},"kind":"page","language":"de","title":"Was ist ein Data Lake?","url":"https://engineer.company/de/glossary/data-lake/","version":1}