{"canonical_url":"https://engineer.company/sv/glossary/data-lake/","content_markdown":"# Datasjö\n\n## Vad det är\n\nEn datasjö, även känd under det engelska namnet data lake, är ett lager som\nsparar rådata precis som den kommer från källan, på den mest detaljerade nivå\nkällan ger, så att även frågor som ingen har ställt i förväg går att besvara ur\nden senare. I praktiken ligger datan i filer, ofta i ett kolumnorienterat format\nsom Apache Parquet, i ett distribuerat filsystem eller ett objektlager, och\nfrågemotorer läser filerna direkt.\n\nUttrycket kommer från James Dixon på Pentaho. I ett blogginlägg daterat den 14\noktober 2010, skrivet samma vecka som Pentaho tillkännagav sin första\nHadoop-version, sammanfattade han vad han hade hört från företag som använde\nHadoop. Åtta eller nio av tio av dem arbetade med strukturerad eller\nsemistrukturerad data, inte ostrukturerad, och datan kom oftast från en enda\napplikation eller ett enda system. Några frågor till datan var kända i förväg,\nbetydligt fler skulle dyka upp senare, flera grupper av användare ville ställa\ndem, och mängden fick inte plats i en relationsdatabas, varken tekniskt eller\ntill en rimlig kostnad. Det vanliga svaret hade varit att plocka ut de mest\nintressanta attributen och aggregera dem i ett data mart. Det besvarar bara de\nfrågor som valts i förväg, och aggregeringen döljer den lägsta detaljnivån för\ngott.\n\nDixon erbjöd en bild i stället. Ett data mart är som vatten på flaska: renat,\nförpackat och format så att det är lätt att konsumera. En datasjö är med hans\nord ”a large body of water in a more natural state”. En källa strömmar in och\nfyller sjön, och alla som har en fråga kan komma och titta, dyka ner i den eller\nta ett prov.\n\nFyra år senare tog Dixon upp begreppet igen, eftersom många använde det och\ndefinitionerna gick isär. Han upprepade sin egen: en sjö innehåller data från en\nenda källa, inte föraggregerad, och en organisation kan ha flera sjöar. Sparar\nman data från många system och kopplar ihop dem tvärs över, skrev han, har man\nen vattenträdgård (water garden), inte en sjö. Han var lika tydlig med att en\ndatasjö inte ersatte en databas, ett data mart eller ett data warehouse 2010.\nFlera av de definitioner han svarade på beskrev ett gemensamt lager för rådata\nfrån många system. Det är den lösare betydelsen av ordet, och det lönar sig att\nveta vilken av dem en kollega menar.\n\n## Varför det spelar roll\n\nVarje sammanställning är ett val av vilka frågor som räknas. En daglig\nförsäljningssumma per butik visar hur mycket varje butik sålde. Den kan inte\nvisa vilken timme som hade mest trafik, vilka varor folk tittade på utan att\nköpa, eller om samma kund kom tillbaka tre gånger innan hon beställde. När bara\nsumman sparas är de frågorna borta för gott, eftersom raderna som kunde ha\nbesvarat dem kastades när summan räknades ut. Dixons poäng var att frågorna\nkommer efter datan, så rådatan bör sparas på sin mest detaljerade nivå och\naggregeras först när frågan är känd.\n\nDet gör inte analysdatalagret överflödigt. Dixon beskrev hur organisationens\nfasta data marts och datalager fylls med aggregeringar hämtade ur sjön, medan\nfrågor ad hoc går direkt till sjön. Datalagret är fortfarande platsen för de\nsiffror organisationen är överens om. Sjön är dit man går när en ny fråga\nbehöver detaljer som datalagret aldrig sparade, och där man bygger om en tabell\ni datalagret när dess definition ändras.\n\nFilformatet spelar lika stor roll som idén. Parquet lagrar varje kolumn i en\nradgrupp (row group) som ett eget block, och metadatan i slutet av filen anger\nvar varje block börjar. En läsare tittar först på den metadatan och hämtar sedan\nbara de kolumnblock den behöver, så en fråga som rör tre kolumner av fyrtio\nläser inte de andra trettiosju. Eftersom Parquet är ett öppet format och varje\nfil bär sin egen metadata, kan varje motor som läser Parquet ställa frågor mot\nsamma mapp, även DuckDB på en bärbar dator, utan något exportsteg.\n\n## Så ser det ut i praktiken\n\nEn webbutik registrerar varje produktvisning, varje gång en vara läggs i\nvarukorgen och varje köp. I stället för att summera dem till dagliga summor\nsparar den varje enskild händelse och skriver ut händelserna som Parquet-filer,\nen mapp per dag. I DuckDB 2.0 är båda stegen vanlig SQL:\n\n```sql\nCREATE TABLE shop_events AS\nSELECT * FROM (VALUES\n  (TIMESTAMP '2026-10-26 09:14:03', 'view',     'boots-41', NULL::INTEGER),\n  (TIMESTAMP '2026-10-26 09:15:40', 'cart',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-26 09:17:12', 'purchase', 'boots-41', 1200),\n  (TIMESTAMP '2026-10-27 11:02:55', 'view',     'jacket-m', NULL),\n  (TIMESTAMP '2026-10-27 11:03:30', 'view',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-27 11:05:01', 'cart',     'jacket-m', NULL)\n) t(occurred_at, event, product, amount);\n\nCOPY (SELECT *, CAST(occurred_at AS DATE) AS day FROM shop_events)\nTO 'events' (FORMAT parquet, PARTITION_BY (day));\n```\n\n`PARTITION_BY` tar bara kolumnnamn, inte uttryck, så dagen räknas ut i `SELECT`.\nDuckDB skriver en mapp per värde, namngiven på formen key=value, som\ndokumentationen kallar Hive partitioning:\n\n```text\nevents/day=2026-10-26/data_0.parquet\nevents/day=2026-10-27/data_0.parquet\n```\n\nEn fråga om en enda dag filtrerar på den kolumnen:\n\n```sql\nSELECT event, count(*) AS n\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  day = DATE '2026-10-27'\nGROUP  BY event\nORDER  BY n DESC;\n-- view 2, cart 1\n```\n\nDuckDB trycker ner ett filter på en partitionskolumn till mappnamnen och hoppar\növer de filer som inte kan matcha. `EXPLAIN ANALYZE` på frågan visar att en av\nde två filerna lästes. Med ett års dagliga mappar skulle samma fråga öppna en\nmapp av 365. Kolumnen `day` kommer tillbaka som `DATE` utan att någon har bett\nom det, eftersom DuckDB som standard känner igen datum, tidsstämplar och stora\nheltal i mappnamn. Den slår också på Hive partitioning av sig själv när mapparna\nföljer mönstret key=value, så flaggan i frågorna gör bara avsikten synlig.\n\nNu en fråga som ingen hade planerat: vilka varor tittade folk mest på?\n\n```sql\nSELECT product, count(*) AS views\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  event = 'view'\nGROUP  BY product\nORDER  BY views DESC, product;\n-- boots-41 2, jacket-m 1\n```\n\nEn tabell med dagliga köpsummor hade aldrig kunnat besvara det. Rådatan besvarar\ndet med ytterligare en fråga mot samma mapp, eftersom varje händelse sparades på\nvägen in.\n\nFöretagets [tjänst för design av datalager](/sv/services/data-warehousing/)\nbeskriver målet som ett ställe där alla siffror stämmer överens, så att två\navdelningar slutar komma med två olika svar till samma möte. En sjö som den här\nligger uppströms om ett sådant datalager: datalagret har de siffror man är\növerens om, och rådatan finns till hands för nästa fråga.\n\n## Var det går fel\n\n**Filer som ingen kan förklara.** En mapp med Parquet-filer utan uppgifter om\nvar de kommer ifrån, vem som äger dem eller vad varje kolumn betyder är en sjö\nsom bara den som byggde den kan använda. När kritiker 2014 hävdade att en\ndatasjö saknar metadata svarade Dixon att ingenting i idén säger så, och lade\nsenare till att den som kopplar ihop data från olika källor eller spårar dess\nursprung (lineage) kommer att behöva metadata. Håll en post i en datakatalog per\ndataset med källa, ägare, kolumner, inläsningstid och lagringstid, och gör det\ntill en fast del av inläsningsjobbet att skriva posten.\n\n**Tusentals små filer.** Varje Parquet-fil har sitt eget metadatablock, och en\nläsare måste läsa det innan den kommer åt någon data. En ström som skriver en\nliten fil i minuten lämnar efter sig över fyrtio tusen filer under en månad på\n30 dagar, och var och en öppnas och tolkas vid varje fullständig genomläsning.\nSamla skrivningarna i färre och större filer, och slå ihop gamla partitioner\nenligt ett fast schema (compaction). Tabellformatet Apache Iceberg registrerar\nen sådan sammanslagning som en snapshot av typen `replace`: flera filer utbytta\nmot en som innehåller samma rader.\n\n**Läsare som ser en halv inläsning.** Ett jobb som skriver tio filer och stannar\nefter sex lämnar sex filer i mappen, och allt som listar mappen kommer att läsa\ndem. En vanlig katalog känner inte till någon commit. Det löser ett\ntabellformat. Iceberg håller reda på de enskilda datafilerna i metadata i\nstället för på hela kataloger, och genomför en ändring genom att atomärt byta ut\nen metadatafil mot nästa. Läsare använder alltid en genomförd snapshot,\nskrivningar syns aldrig till hälften, och läsare tar inga lås.\n\n**Omdöpta kolumner som delar historiken.** Gamla filer behåller det gamla\nkolumnnamnet, och varje fråga måste känna till båda. Iceberg väljer kolumner i\ndatafiler efter ett fält-id i stället för efter namn, så en kolumn kan döpas om,\nläggas till, tas bort eller flyttas, även inne i nästlade strukturer, utan att\nde filer som redan är skrivna behöver skrivas om.\n\n**En sjö för alla system.** Att hälla ut alla organisationens databaser på ett\nställe och koppla ihop allt tvärs över är det Dixon kallade en vattenträdgård,\noch han höll med en kritiker om att det inte var någon framkomlig väg,\nåtminstone inte då, att lägga all företagets data i Hadoop eller något annat\nenskilt lager. Hans råd var att använda det bästa verktyget för varje uppgift:\nen transaktionsdatabas för transaktionella ändamål och en analysdatabas för\nanalytiska. Börja en sjö från en enda källa med verkliga frågor som väntar på\nsvar, och bygg de samlade siffror man är överens om i ett datalager som fylls\nfrån sjön.\n\n**Personuppgifter som sparas för alltid.** Ett lager som är byggt för att spara\nallt krockar med begäranden om radering och gränser för lagringstid. Iceberg\nversion 2 kan radera enskilda rader genom att skriva raderingsfiler (delete\nfiles) utan att skriva om datafilerna, vilket betyder att de ursprungliga byten\nligger kvar i lagret. De försvinner först när datafilerna skrivs om och de äldre\nsnapshots som fortfarande pekar på dem löper ut, varefter filerna får raderas\nfysiskt. Håll direkta identifierare utanför rådatan där det går, partitionera så\natt data vars lagringstid har gått ut kan tas bort som hela mappar, och\nschemalägg sammanslagning och utgång av snapshots efter raderingar.\n\n## Läs mer\n\n- [Pentaho, Hadoop, and Data Lakes](https://jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/)\n  — James Dixons inlägg från oktober 2010, som introducerade begreppet och\n  jämförelsen med vatten på flaska.\n- [Data Lakes Revisited](https://jamesdixon.wordpress.com/2014/09/25/data-lakes-revisited/)\n  — Dixons uppföljning från 2014: en källa per sjö, vattenträdgården och hans\n  svar till kritikerna.\n- [File Format](https://parquet.apache.org/docs/file-format/) — Parquets\n  uppbyggnad med radgrupper, kolumnblock och filmetadata som skrivs efter datan.\n- [Iceberg Table Spec](https://iceberg.apache.org/spec/) — Apache Icebergs\n  specifikation: snapshots, atomära commits, schemaändringar via fält-id,\n  raderingsfiler och utgång av snapshots.\n- [Hive Partitioning](https://duckdb.org/docs/2.0/data/partitioning/hive_partitioning.html)\n  — DuckDB:s dokumentation av key=value-mappar, filter pushdown och igenkänning\n  av partitionstyper.\n\n\u003chttps://engineer.company/sv/glossary/data-lake/\u003e\n","date_modified":"2026-10-29T11:17:41Z","description":"Vad en datasjö är: James Dixons idé från 2010, rådata sparad i full detalj, ett partitionerat Parquet-exempel i DuckDB och de vanliga fallgroparna.","formats":{"gemtext":"https://engineer.company/sv/glossary/data-lake/index.gmi","gopher":"https://engineer.company/sv/glossary/data-lake/gophermap","html":"https://engineer.company/sv/glossary/data-lake/","json":"https://engineer.company/sv/glossary/data-lake/index.json","markdown":"https://engineer.company/sv/glossary/data-lake/index.md","pdf":"https://engineer.company/sv/glossary/data-lake/index.pdf"},"kind":"page","language":"sv","title":"Vad är en datasjö?","url":"https://engineer.company/sv/glossary/data-lake/","version":1}