{"canonical_url":"https://engineer.company/da/glossary/data-lake/","content_markdown":"# Data lake\n\n## Hvad det er\n\nEn data lake, på dansk også kaldet en datasø, er et lager, der gemmer rådata,\nsom de kommer fra kilden, på det mest detaljerede niveau, kilden leverer, så\nogså spørgsmål, som ingen har stillet på forhånd, kan besvares ud fra dem\nsenere. I praksis ligger data i filer, ofte i et kolonneorienteret format som\nApache Parquet, i et distribueret filsystem eller et objektlager, og\nforespørgselsmotorer læser filerne direkte.\n\nUdtrykket stammer fra James Dixon fra Pentaho. I et blogindlæg dateret 14.\noktober 2010, skrevet i den uge, hvor Pentaho annoncerede sin første\nHadoop-udgivelse, samlede han op på, hvad han havde hørt fra virksomheder, der\nbrugte Hadoop. Otte eller ni ud af ti af dem arbejdede med strukturerede eller\nsemistrukturerede data, ikke ustrukturerede, og dataene kom som regel fra en\nenkelt applikation eller et enkelt system. Nogle få spørgsmål til dataene var\nkendt på forhånd, mange flere ville dukke op senere, flere grupper af brugere\nhavde spørgsmål til dem, og mængden var for stor til en relationel database, det\nvære sig teknisk eller økonomisk. Det sædvanlige svar havde været at udvælge de\nmest interessante attributter og aggregere dem i et data mart. Det besvarer kun\nde spørgsmål, der er valgt på forhånd, og aggregeringen skjuler det laveste\ndetaljeniveau for altid.\n\nDixon tilbød i stedet et billede. Et data mart er som vand på flaske: renset,\npakket og formet, så det er let at indtage. En data lake er med hans ord »a\nlarge body of water in a more natural state«. En kilde strømmer ind og fylder\nsøen, og alle med et spørgsmål kan komme og kigge, dykke ned i den eller tage en\nprøve.\n\nFire år senere vendte Dixon tilbage til begrebet, fordi mange brugte det, og\ndefinitionerne var ret forskellige. Han gentog sin egen: En sø rummer data fra\nén kilde, ikke præaggregerede, og en organisation kan have flere søer. Gemmer\nman data fra mange systemer og kobler dem sammen på tværs, skrev han, har man en\nvandhave (water garden), ikke en sø. Han var lige så klar om, at en data lake\nikke erstattede en database, et data mart eller et data warehouse i 2010. Flere\naf de definitioner, han svarede på, beskrev ét fælles lager til rådata fra mange\nsystemer. Det er den løsere betydning af ordet, og det er værd at vide, hvilken\naf dem en kollega mener.\n\n## Hvorfor det betyder noget\n\nEnhver sammentælling er en beslutning om, hvilke spørgsmål der betyder noget. En\ndaglig salgstotal pr. butik fortæller, hvor meget hver butik solgte. Den kan\nikke fortælle, hvilken time der var travlest, hvilke varer folk kiggede på uden\nat købe dem, eller om den samme kunde kom tilbage tre gange, før hun bestilte.\nNår kun totalen gemmes, er de spørgsmål væk for altid, for de rækker, der kunne\nbesvare dem, blev smidt ud, da totalen blev beregnet. Dixons pointe var, at\nspørgsmålene kommer efter dataene, så rådataene bør gemmes på deres mest\ndetaljerede niveau og først aggregeres, når spørgsmålet er kendt.\n\nDet gør ikke datavarehuset overflødigt. Dixon beskrev, hvordan organisationens\nfaste data marts og datavarehuse fyldes med aggregeringer hentet fra søen, mens\nspørgsmål ad hoc går direkte til søen. Datavarehuset er stadig stedet for de\ntal, organisationen er enig om. Søen er der, man går hen, når et nyt spørgsmål\nkræver detaljer, som datavarehuset aldrig har gemt, og der, man genopbygger en\ntabel i datavarehuset, når dens definition ændres.\n\nFilformatet betyder lige så meget som idéen. Parquet gemmer hver kolonne i en\nrækkegruppe (row group) som sin egen blok, og metadataene i slutningen af filen\nregistrerer, hvor hver blok begynder. En læser kigger først på disse metadata og\nhenter derefter kun de kolonneblokke, den har brug for, så en forespørgsel, der\nrører tre kolonner ud af fyrre, ikke læser de øvrige syvogtredive. Fordi Parquet\ner et åbent format, og hver fil bærer sine egne metadata, kan enhver motor, der\nlæser Parquet, forespørge den samme mappe, også DuckDB på en bærbar, uden et\neksporttrin.\n\n## Sådan ser det ud i praksis\n\nEn webshop registrerer hver produktvisning, hver gang en vare lægges i kurven,\nog hvert køb. I stedet for at lægge dem sammen til daglige totaler gemmer den\nhver eneste hændelse og skriver hændelserne ud som Parquet-filer, én mappe pr.\ndag. I DuckDB 2.0 er begge trin almindelig SQL:\n\n```sql\nCREATE TABLE shop_events AS\nSELECT * FROM (VALUES\n  (TIMESTAMP '2026-10-26 09:14:03', 'view',     'boots-41', NULL::INTEGER),\n  (TIMESTAMP '2026-10-26 09:15:40', 'cart',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-26 09:17:12', 'purchase', 'boots-41', 1200),\n  (TIMESTAMP '2026-10-27 11:02:55', 'view',     'jacket-m', NULL),\n  (TIMESTAMP '2026-10-27 11:03:30', 'view',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-27 11:05:01', 'cart',     'jacket-m', NULL)\n) t(occurred_at, event, product, amount);\n\nCOPY (SELECT *, CAST(occurred_at AS DATE) AS day FROM shop_events)\nTO 'events' (FORMAT parquet, PARTITION_BY (day));\n```\n\n`PARTITION_BY` accepterer kun kolonnenavne, ikke udtryk, så dagen beregnes i\n`SELECT`. DuckDB skriver én mappe pr. værdi, navngivet på formen key=value, som\ndokumentationen kalder Hive partitioning:\n\n```text\nevents/day=2026-10-26/data_0.parquet\nevents/day=2026-10-27/data_0.parquet\n```\n\nEt spørgsmål om én dag filtrerer på den kolonne:\n\n```sql\nSELECT event, count(*) AS n\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  day = DATE '2026-10-27'\nGROUP  BY event\nORDER  BY n DESC;\n-- view 2, cart 1\n```\n\nDuckDB skubber et filter på en partitionskolonne ned til mappenavnene og\nspringer de filer over, der ikke kan matche. `EXPLAIN ANALYZE` på forespørgslen\nviser, at én af de to filer blev scannet. Med et års daglige mapper ville samme\nspørgsmål åbne én mappe ud af 365. Kolonnen `day` kommer tilbage som `DATE`,\nuden at nogen har bedt om det, fordi DuckDB som standard genkender datoer,\ntidsstempler og store heltal i mappenavne. Den slår også selv Hive partitioning\ntil, når mapperne følger key=value-mønsteret, så flaget i forespørgslerne gør\nblot hensigten synlig.\n\nNu et spørgsmål, ingen havde planlagt: Hvilke varer blev der kigget mest på?\n\n```sql\nSELECT product, count(*) AS views\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  event = 'view'\nGROUP  BY product\nORDER  BY views DESC, product;\n-- boots-41 2, jacket-m 1\n```\n\nEn tabel med daglige købstotaler kunne aldrig besvare det. De rå hændelser\nbesvarer det med endnu en forespørgsel mod den samme mappe, fordi hver eneste\nhændelse blev gemt på vejen ind.\n\nVirksomhedens\n[ydelse inden for design af data warehouse](/da/services/data-warehousing/)\nbeskriver målet som ét sted, hvor alle tallene stemmer overens, så to afdelinger\nikke længere kommer til det samme møde med hver sit svar. En sø som denne ligger\nopstrøms for sådan et datavarehus: Datavarehuset rummer de tal, man er enige om,\nog rådataene ligger klar til det næste spørgsmål.\n\n## Hvor det går galt\n\n**Filer, ingen kan forklare.** En mappe med Parquet-filer uden oplysninger om,\nhvor de kom fra, hvem der ejer dem, eller hvad hver kolonne betyder, er en sø,\nsom kun den, der byggede den, kan bruge. Da kritikere i 2014 hævdede, at en data\nlake ikke har metadata, svarede Dixon, at intet i idéen siger det, og tilføjede\nsenere, at den, der kobler data fra forskellige kilder eller sporer deres\nherkomst (lineage), får brug for metadata. Hav én post i et datakatalog pr.\ndatasæt med kilde, ejer, kolonner, indlæsningstidspunkt og opbevaringsperiode,\nog gør det at skrive posten til en fast del af indlæsningsjobbet.\n\n**Tusindvis af små filer.** Hver Parquet-fil har sin egen metadatablok, og en\nlæser skal læse den, før den når frem til nogen data. En strøm, der skriver én\nlille fil i minuttet, efterlader over 40.000 filer på en måned med 30 dage, og\nhver af dem åbnes og fortolkes ved hver fuld scanning. Saml skrivningerne i\nfærre, større filer, og læg gamle partitioner sammen efter en fast plan\n(compaction). Tabelformatet Apache Iceberg registrerer sådan en sammenlægning\nsom et snapshot af typen `replace`: flere filer skiftet ud med én, der rummer de\nsamme rækker.\n\n**Læsere, der ser en halv indlæsning.** Et job, der skriver ti filer og stopper\nefter seks, efterlader seks filer i mappen, og alt, hvad der lister mappen,\nlæser dem. En almindelig mappe kender ikke til commit. Det løser et tabelformat.\nIceberg holder styr på de enkelte datafiler i metadata i stedet for på hele\nmapper og gennemfører en ændring ved atomart at udskifte én metadatafil med den\nnæste. Læsere bruger altid et gennemført snapshot, skrivninger er aldrig delvist\nsynlige, og læsere tager ingen låse.\n\n**Omdøbte kolonner, der splitter historikken.** Gamle filer beholder det gamle\nkolonnenavn, og hver forespørgsel skal kende begge. Iceberg vælger kolonner i\ndatafiler ud fra et felt-id i stedet for navnet, så en kolonne kan omdøbes,\ntilføjes, fjernes eller flyttes, også inde i indlejrede strukturer, uden at de\nfiler, der allerede er skrevet, skal skrives om.\n\n**Én sø til alle systemer.** At hælde alle organisationens databaser ned ét sted\nog koble det hele sammen på tværs er det, Dixon kaldte en vandhave, og han var\nenig med en kritiker i, at det ikke var en farbar vej, i hvert fald dengang, at\nlægge alle virksomhedens data i Hadoop eller et andet enkelt lager. Hans råd var\nat bruge det bedste værktøj til hver opgave: en transaktionel database til\ntransaktionelle formål og en analytisk database til analytiske. Start en sø fra\nén kilde med reelle spørgsmål, der venter på svar, og byg de samlede tal, man er\nenige om, i et datavarehus, der fyldes fra søen.\n\n**Personoplysninger, der gemmes for evigt.** Et lager, der er bygget til at\ngemme alt, støder sammen med anmodninger om sletning og grænser for opbevaring.\nIceberg version 2 kan slette enkelte rækker ved at skrive sletfiler (delete\nfiles) uden at omskrive datafilerne, hvilket betyder, at de oprindelige bytes\nbliver liggende på lageret. De forsvinder først, når datafilerne skrives om, og\nde ældre snapshots, der stadig peger på dem, udløber, hvorefter filerne må\nslettes fysisk. Hold direkte identifikatorer ude af rådataene, hvor det kan lade\nsig gøre, partitionér, så udløbne data kan fjernes som hele mapper, og planlæg\nsammenlægning og udløb af snapshots efter sletninger.\n\n## Læs mere\n\n- [Pentaho, Hadoop, and Data Lakes](https://jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/)\n  — James Dixons indlæg fra oktober 2010, der introducerede begrebet og\n  sammenligningen med vand på flaske.\n- [Data Lakes Revisited](https://jamesdixon.wordpress.com/2014/09/25/data-lakes-revisited/)\n  — Dixons opfølgning fra 2014: én kilde pr. sø, vandhaven og hans svar til\n  kritikerne.\n- [File Format](https://parquet.apache.org/docs/file-format/) — Parquets\n  opbygning med rækkegrupper, kolonneblokke og filmetadata, der skrives efter\n  dataene.\n- [Iceberg Table Spec](https://iceberg.apache.org/spec/) — Apache Icebergs\n  specifikation: snapshots, atomare commits, skemaændringer via felt-id,\n  sletfiler og udløb af snapshots.\n- [Hive Partitioning](https://duckdb.org/docs/2.0/data/partitioning/hive_partitioning.html)\n  — DuckDB's dokumentation af key=value-mapper, filter pushdown og genkendelse\n  af partitionstyper.\n\n\u003chttps://engineer.company/da/glossary/data-lake/\u003e\n","date_modified":"2026-10-29T11:17:41Z","description":"Hvad en data lake er: James Dixons idé fra 2010, rådata gemt i fuld detalje, et partitioneret Parquet-eksempel i DuckDB og de typiske faldgruber.","formats":{"gemtext":"https://engineer.company/da/glossary/data-lake/index.gmi","gopher":"https://engineer.company/da/glossary/data-lake/gophermap","html":"https://engineer.company/da/glossary/data-lake/","json":"https://engineer.company/da/glossary/data-lake/index.json","markdown":"https://engineer.company/da/glossary/data-lake/index.md","pdf":"https://engineer.company/da/glossary/data-lake/index.pdf"},"kind":"page","language":"da","title":"Hvad er en data lake?","url":"https://engineer.company/da/glossary/data-lake/","version":1}