{"canonical_url":"https://engineer.company/nb/glossary/data-lake/","content_markdown":"# Datasjø\n\n## Hva det er\n\nEn datasjø, også kjent under det engelske navnet data lake, er et lager som tar\nvare på rådata slik de kommer fra kilden, på det mest detaljerte nivået kilden\ngir, slik at også spørsmål ingen har stilt på forhånd, kan besvares fra dem\nsenere. I praksis ligger dataene i filer, ofte i et kolonneorientert format som\nApache Parquet, i et distribuert filsystem eller et objektlager, og\nspørremotorer leser filene direkte.\n\nUttrykket kommer fra James Dixon i Pentaho. I et blogginnlegg datert 14. oktober\n2010, skrevet den uken Pentaho kunngjorde sin første Hadoop-utgivelse,\noppsummerte han det han hadde hørt fra selskaper som brukte Hadoop. Åtte eller\nni av ti av dem arbeidet med strukturerte eller semistrukturerte data, ikke\nustrukturerte, og dataene kom som regel fra én enkelt applikasjon eller ett\nenkelt system. Noen få spørsmål til dataene var kjent på forhånd, mange flere\nville dukke opp senere, flere grupper av brukere hadde spørsmål til dem, og\nmengden fikk ikke plass i en relasjonsdatabase, verken teknisk eller til en\nfornuftig pris. Det vanlige svaret hadde vært å plukke ut de mest interessante\nattributtene og aggregere dem i et data mart. Det besvarer bare spørsmålene som\ner valgt på forhånd, og aggregeringen skjuler det laveste detaljnivået for godt.\n\nDixon tilbød et bilde i stedet. Et data mart er som vann på flaske: renset,\npakket og formet slik at det er lett å konsumere. En datasjø er med hans ord «a\nlarge body of water in a more natural state». En kilde strømmer inn og fyller\nsjøen, og alle som har et spørsmål, kan komme og se, dykke ned i den eller ta en\nprøve.\n\nFire år senere tok Dixon opp begrepet igjen, fordi mange brukte det og\ndefinisjonene varierte. Han gjentok sin egen: En sjø inneholder data fra én\nkilde, ikke forhåndsaggregert, og en organisasjon kan ha flere sjøer. Lagrer du\ndata fra mange systemer og kobler dem sammen på tvers, skrev han, har du en\nvannhage (water garden), ikke en sjø. Han var like tydelig på at en datasjø ikke\nerstattet en database, et data mart eller et datavarehus i 2010. Flere av\ndefinisjonene han svarte på, beskrev ett felles lager for rådata fra mange\nsystemer. Det er den løsere betydningen av ordet, og det er verdt å vite hvilken\nav dem en kollega mener.\n\n## Hvorfor det er viktig\n\nHver oppsummering er et valg av hvilke spørsmål som betyr noe. En daglig\nsalgssum per butikk forteller hvor mye hver butikk solgte. Den kan ikke fortelle\nhvilken time som hadde mest trafikk, hvilke varer folk så på uten å kjøpe dem,\neller om den samme kunden kom tilbake tre ganger før hun bestilte. Når bare\nsummen tas vare på, er de spørsmålene borte for godt, for radene som kunne\nbesvart dem, ble kastet da summen ble regnet ut. Dixons poeng var at spørsmålene\nkommer etter dataene, så rådataene bør lagres på sitt mest detaljerte nivå og\naggregeres først når spørsmålet er kjent.\n\nDet gjør ikke datavarehuset overflødig. Dixon beskrev hvordan organisasjonens\nfaste data marts og datavarehus fylles med aggregeringer hentet fra sjøen, mens\nspørsmål ad hoc går rett til sjøen. Datavarehuset er fortsatt stedet for tallene\norganisasjonen er enig om. Sjøen er dit man går når et nytt spørsmål trenger\ndetaljer datavarehuset aldri tok vare på, og der man bygger opp igjen en tabell\ni datavarehuset når definisjonen av den endres.\n\nFilformatet betyr like mye som ideen. Parquet lagrer hver kolonne i en radgruppe\n(row group) som en egen blokk, og metadataene på slutten av filen registrerer\nhvor hver blokk begynner. En leser ser først på disse metadataene og henter\nderetter bare kolonneblokkene den trenger, så en spørring som berører tre\nkolonner av førti, ikke leser de andre trettisju. Fordi Parquet er et åpent\nformat og hver fil bærer sine egne metadata, kan enhver motor som leser Parquet,\nspørre mot den samme mappen, også DuckDB på en bærbar, uten noe eksportsteg.\n\n## Slik ser det ut i praksis\n\nEn nettbutikk registrerer hver produktvisning, hver gang en vare legges i\nhandlekurven, og hvert kjøp. I stedet for å legge dem sammen til daglige summer\ntar den vare på hver eneste hendelse og skriver hendelsene ut som Parquet-filer,\nén mappe per dag. I DuckDB 2.0 er begge stegene vanlig SQL:\n\n```sql\nCREATE TABLE shop_events AS\nSELECT * FROM (VALUES\n  (TIMESTAMP '2026-10-26 09:14:03', 'view',     'boots-41', NULL::INTEGER),\n  (TIMESTAMP '2026-10-26 09:15:40', 'cart',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-26 09:17:12', 'purchase', 'boots-41', 1200),\n  (TIMESTAMP '2026-10-27 11:02:55', 'view',     'jacket-m', NULL),\n  (TIMESTAMP '2026-10-27 11:03:30', 'view',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-27 11:05:01', 'cart',     'jacket-m', NULL)\n) t(occurred_at, event, product, amount);\n\nCOPY (SELECT *, CAST(occurred_at AS DATE) AS day FROM shop_events)\nTO 'events' (FORMAT parquet, PARTITION_BY (day));\n```\n\n`PARTITION_BY` godtar bare kolonnenavn, ikke uttrykk, så dagen regnes ut i\n`SELECT`. DuckDB skriver én mappe per verdi, navngitt på formen key=value, som\ndokumentasjonen kaller Hive partitioning:\n\n```text\nevents/day=2026-10-26/data_0.parquet\nevents/day=2026-10-27/data_0.parquet\n```\n\nEt spørsmål om én dag filtrerer på den kolonnen:\n\n```sql\nSELECT event, count(*) AS n\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  day = DATE '2026-10-27'\nGROUP  BY event\nORDER  BY n DESC;\n-- view 2, cart 1\n```\n\nDuckDB skyver et filter på en partisjonskolonne ned til mappenavnene og hopper\nover filene som ikke kan treffe. `EXPLAIN ANALYZE` på spørringen viser at én av\nde to filene ble skannet. Med et års daglige mapper ville det samme spørsmålet\nåpne én mappe av 365. Kolonnen `day` kommer tilbake som `DATE` uten at noen har\nbedt om det, fordi DuckDB som standard gjenkjenner datoer, tidsstempler og store\nheltall i mappenavn. Den slår også på Hive partitioning av seg selv når mappene\nfølger key=value-mønsteret, så flagget i spørringene gjør bare hensikten synlig.\n\nNå et spørsmål ingen hadde planlagt: Hvilke varer ble sett mest på?\n\n```sql\nSELECT product, count(*) AS views\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  event = 'view'\nGROUP  BY product\nORDER  BY views DESC, product;\n-- boots-41 2, jacket-m 1\n```\n\nEn tabell med daglige kjøpssummer kunne aldri besvart det. De rå hendelsene\nbesvarer det med enda en spørring mot den samme mappen, fordi hver eneste\nhendelse ble lagret på veien inn.\n\nSelskapets [tjeneste for design av datavarehus](/nb/services/data-warehousing/)\nbeskriver målet som ett sted der alle tallene stemmer overens, slik at to\navdelinger slutter å komme med to ulike svar til det samme møtet. En sjø som\ndenne ligger oppstrøms for et slikt datavarehus: Datavarehuset har tallene man\ner enige om, og rådataene ligger klare for det neste spørsmålet.\n\n## Hvor det går galt\n\n**Filer ingen kan forklare.** En mappe med Parquet-filer uten opplysninger om\nhvor de kom fra, hvem som eier dem, eller hva hver kolonne betyr, er en sjø bare\nden som bygde den, kan bruke. Da kritikere i 2014 hevdet at en datasjø ikke har\nmetadata, svarte Dixon at ingenting i ideen sier det, og la senere til at den\nsom kobler data fra ulike kilder eller sporer opphavet deres (lineage), vil\ntrenge metadata. Hold én oppføring i en datakatalog per datasett med kilde,\neier, kolonner, innlastingstidspunkt og lagringstid, og gjør det å skrive\noppføringen til en fast del av innlastingsjobben.\n\n**Tusenvis av små filer.** Hver Parquet-fil har sin egen metadatablokk, og en\nleser må lese den før den kommer til noen data. En strøm som skriver én liten\nfil i minuttet, etterlater over førti tusen filer i løpet av en måned på 30\ndager, og hver av dem åpnes og tolkes ved hver full skanning. Samle skrivingene\ni færre, større filer, og slå sammen gamle partisjoner etter en fast plan\n(compaction). Tabellformatet Apache Iceberg registrerer en slik sammenslåing som\net snapshot av typen `replace`: flere filer byttet ut med én som har de samme\nradene.\n\n**Lesere som ser en halv innlasting.** En jobb som skriver ti filer og stopper\netter seks, etterlater seks filer i mappen, og alt som lister mappen, vil lese\ndem. En vanlig mappe kjenner ikke til commit. Det løser et tabellformat. Iceberg\nholder oversikt over de enkelte datafilene i metadata i stedet for over hele\nmapper, og gjennomfører en endring ved å bytte ut én metadatafil med den neste\natomisk. Lesere bruker alltid et gjennomført snapshot, skrivinger er aldri\ndelvis synlige, og lesere tar ingen låser.\n\n**Omdøpte kolonner som splitter historikken.** Gamle filer beholder det gamle\nkolonnenavnet, og hver spørring må kjenne begge. Iceberg velger kolonner i\ndatafiler etter en felt-ID i stedet for etter navn, så en kolonne kan få nytt\nnavn, legges til, fjernes eller flyttes, også inne i nestede strukturer, uten at\nfilene som allerede er skrevet, må skrives om.\n\n**Én sjø for alle systemer.** Å helle alle organisasjonens databaser ut på ett\nsted og koble alt sammen på tvers er det Dixon kalte en vannhage, og han var\nenig med en kritiker i at det ikke var noen farbar vei, i hvert fall ikke den\ngang, å legge alle virksomhetens data i Hadoop eller et annet enkelt lager.\nRådet hans var å bruke det beste verktøyet til hver jobb: en\ntransaksjonsdatabase til transaksjonelle formål og en analysedatabase til\nanalytiske. Start en sjø fra én kilde med reelle spørsmål som venter på svar, og\nbygg de samlede tallene man er enige om, i et datavarehus som fylles fra sjøen.\n\n**Personopplysninger som lagres for alltid.** Et lager som er bygd for å ta vare\npå alt, kolliderer med krav om sletting og grenser for lagringstid. Iceberg\nversjon 2 kan slette enkeltrader ved å skrive slettefiler (delete files) uten å\nskrive om datafilene, og det betyr at de opprinnelige bytene blir liggende i\nlageret. De forsvinner først når datafilene skrives om og de eldre snapshotene\nsom fortsatt viser til dem, utløper, og etter det kan filene slettes fysisk.\nHold direkte identifikatorer utenfor rådataene der det lar seg gjøre,\npartisjoner slik at utløpte data kan fjernes som hele mapper, og planlegg\nsammenslåing og utløp av snapshots etter slettinger.\n\n## Les mer\n\n- [Pentaho, Hadoop, and Data Lakes](https://jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/)\n  — James Dixons innlegg fra oktober 2010, som introduserte begrepet og\n  sammenligningen med vann på flaske.\n- [Data Lakes Revisited](https://jamesdixon.wordpress.com/2014/09/25/data-lakes-revisited/)\n  — Dixons oppfølging fra 2014: én kilde per sjø, vannhagen og svarene hans til\n  kritikerne.\n- [File Format](https://parquet.apache.org/docs/file-format/) — Parquets\n  oppbygning med radgrupper, kolonneblokker og filmetadata som skrives etter\n  dataene.\n- [Iceberg Table Spec](https://iceberg.apache.org/spec/) — Apache Icebergs\n  spesifikasjon: snapshots, atomiske commits, skjemaendringer via felt-ID,\n  slettefiler og utløp av snapshots.\n- [Hive Partitioning](https://duckdb.org/docs/2.0/data/partitioning/hive_partitioning.html)\n  — DuckDBs dokumentasjon av key=value-mapper, filter pushdown og gjenkjenning\n  av partisjonstyper.\n\n\u003chttps://engineer.company/nb/glossary/data-lake/\u003e\n","date_modified":"2026-10-29T11:17:41Z","description":"Hva en datasjø er: James Dixons idé fra 2010, rådata lagret i full detalj, et partisjonert Parquet-eksempel i DuckDB og de vanlige fallgruvene.","formats":{"gemtext":"https://engineer.company/nb/glossary/data-lake/index.gmi","gopher":"https://engineer.company/nb/glossary/data-lake/gophermap","html":"https://engineer.company/nb/glossary/data-lake/","json":"https://engineer.company/nb/glossary/data-lake/index.json","markdown":"https://engineer.company/nb/glossary/data-lake/index.md","pdf":"https://engineer.company/nb/glossary/data-lake/index.pdf"},"kind":"page","language":"nb","title":"Hva er en datasjø?","url":"https://engineer.company/nb/glossary/data-lake/","version":1}