{"canonical_url":"https://engineer.company/sv/glossary/dataset/","content_markdown":"# Dataset\n\n## Vad det är\n\nEtt dataset, ibland skrivet data set och i svensk förvaltning kallat datamängd, är en avgränsad\nmängd data som hanteras som en sak. Det har ett namn, ett ursprung, en period som det täcker och en\nform som alla dess poster delar, och de fyra uppgifterna säger var det börjar och slutar. En månads\nmätaravläsningar i en enda fil är ett dataset, och det är en nattlig export av tre tabeller som hör\nihop också. Ordet säger ingenting om storlek eller format, bara att datan inuti hör samman.\n\nSidorna på den här webbplatsen använder ordet i den vardagliga betydelsen. En talar om ett\nhistoriskt dataset i JSONL-format och om dataset över 1 och 30 dagar som används för att mäta\nprestanda, en annan om kurerade dataset och tabeller som exporteras för att läsas in någon\nannanstans, en tredje om enorma dataset från smarta elmätare. Varje gång drar ordet en gräns runt\ndata innan något görs med dem.\n\nW3C ger ordet en formell ram i Data Catalog Vocabulary, DCAT. Version 3 blev en W3C-rekommendation\nden 22 augusti 2024 och definierar ett dataset som en samling data som en enda aktör har publicerat\neller kurerat, och som går att komma åt eller ladda ned i en eller flera serialiseringar eller\nformat. Begreppet är brett med avsikt: siffror, text, bilder och ljud räknas alla. DCAT skiljer\nsedan på tre saker som vardagsspråket gärna blandar ihop:\n\n- **Dataset**: datan som idé, t.ex. timförbrukning per zon för 2024.\n- **Distribution**: en form som datan går att hämta i, t.ex. en CSV-fil för nedladdning. Ett och\n  samma dataset kan ha flera.\n- **Serie av dataset**: dataset som publiceras var för sig men har tillräckligt gemensamt för att\n  grupperas, t.ex. en fil per månad.\n\nTvå filer i olika format kan alltså vara ett enda dataset, och två månadsfiler under samma namn kan\nvara två medlemmar i en serie. Myndigheten för digital förvaltning har gjort en svensk profil av\nden europeiska tillämpningen DCAT-AP, kallad DCAT-AP-SE, som i sin tur bygger på rekommendationen\nfrån W3C. Där heter de tre klasserna datamängd, distribution och datamängdsserie, och det är de\norden en svensk myndighet använder när den beskriver sina data.\n\nI Google BigQuery har ordet en andra, snävare betydelse. Där är ett dataset en behållare för\ntabeller, vyer och andra resurser, och det ligger inuti ett projekt. En tabell måste höra till ett\ndataset, så datasetet skapas innan någon data läses in. I GoogleSQL adresseras det som\n`project.dataset` och i kommandoradsverktyget bq som `project:dataset`. Sammanhanget avgör vilken\nbetydelse som gäller.\n\n## Varför det spelar roll\n\nEn gräns gör data jämförbara. Två serier av avläsningar går att jämföra bara när båda täcker samma\nperiod, samma platser och samma avstånd mellan posterna, och att namnge ett dataset är sättet att\nlåsa de villkoren. DCAT ger avståndet en egen egenskap, temporal upplösning, som anger det minsta\navståndet mellan posterna i datasetet och skrivs som en varaktighet, t.ex. `P1D` för en dag. Ett\ndataset som anger sin upplösning talar om för läsaren om raderna är timmar, kvartar eller något\noregelbundet, redan innan den första summan räknas ut.\n\nBeskrivningen måste följa med datan. DCAT räknar upp vad en distribution kan säga om sig själv:\nmedietyp, format, komprimeringsformat, paketeringsformat, storlek i byte och en kontrollsumma. Den\nsista låter mottagaren verifiera att innehållet är oförändrat. Specifikationens eget exempel på ett\nkomprimeringsformat är gzip. En fil som kommer med de uppgifterna går att granska och öppna; en fil\nsom kommer naken måste gissas fram.\n\nFormatet för en distribution avgör vem som kan läsa den. Tre är vanliga:\n\n- **CSV.** RFC 4180 från 2005 beskriver den uppställning som de flesta implementationer verkar\n  följa: en post per rad, en valfri rubrikrad, dubbla citattecken runt varje fält som innehåller\n  ett kommatecken, en radbrytning eller ett dubbelt citattecken, och ett dubbelt citattecken inuti\n  ett fält skrivs två gånger. Nästan alla verktyg öppnar det.\n- **JSON Lines.** Ett giltigt JSON-värde per rad, kodat i UTF-8, med `\\n` som\n  radavskiljare. Filerna sparas som `.jsonl` eller, komprimerade med gzip, som\n  `.jsonl.gz`. En avslutande radbrytning rekommenderas starkt men är inget krav.\n  Program läser en post i taget, och textverktyg och skalpipelines i Unix-stil\n  hanterar formatet väl.\n- **Parquet.** Ett kolumnorienterat filformat med öppen källkod, byggt för effektiv lagring och\n  hämtning, med metoder för komprimering och kodning som klarar komplexa data i stora mängder.\n\nHär är en och samma post i de två första formaten. Kommatecknet i fältet note tvingar fram\ncitattecken i CSV-raden:\n\n```text\nid,read_at,kwh,note\nM-17,2024-01-08T10:00:00Z,3.21,\"late, manual\"\n\n{\"id\":\"M-17\",\"read_at\":\"2024-01-08T10:00:00Z\",\"kwh\":3.21,\"note\":\"late, manual\"}\n```\n\n## Så ser det ut i praktiken\n\nTre projekt på webbplatsen visar ett dataset som formas, flyttas och läses.\n\nFormas: eldata kom från flera källor, var och en med sin egen rapporteringsfrekvens, från timvisa\nintervall till kvartsintervall och i vissa fall oregelbundna tidsstämplar, vilket gjorde det svårt\natt få fram ett sammanhängande och jämförbart dataset. Arbetet\n[gjorde om rå händelsedata ur ett historiskt JSONL-dataset till förbrukning per timme](/sv/portfolio/a-month-of-meter-readings-in-180-milliseconds/),\nen rad per timme och zon, där produktionsmixen i varje intervall summerades, importen lades till\noch exporten drogs ifrån. Tre varianter skrevs, i Python, JQ och SQL. Den datapipeline som skrevs i\nPython tolkade JSONL-filerna till dataframes, omsamplade tidsserien till timintervall och\nexporterade resultatet som CSV eller läste in det i en lättviktig SQLite-databas för granskning.\nMätt på historiska dataset över 1 och 30 dagar var den snabbast av de tre, med 34 ms för en dag\noch 180 ms för trettio. Arbetet mellan indata och utdata är ett byte av granularitet, från varje\nkällas egna intervall till en fast rad per timme och zon.\n\nFlyttas: sex\n[datapipelines för ETL/ELT förde data till Google BigQuery](/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/)\nfrån ett analysdatalager på distans, bakom ett IPsec-VPN. Datan kom som komprimerade arkiv med\nParquet-, CSV- och .bak-filer, och skript i Bash och Python sorterade varje fil efter typ och\nschema. När procedurer hade rensat, normaliserat och berikat\nraderna exporterades kurerade dataset och tabeller till mellanformat, komprimerades med gzip och\nfördes över till en bucket i Google Cloud Storage. Därifrån läste kommandoradsverktyget bq och\nPython-skript in dem i BigQuery. Manuellt arbete på över 3 timmar blev under 20 minuter från\nbörjan till slut, och datan gick från veckovis till daglig synkronisering.\n\nLäses: smarta elmätare i flera geografiska regioner gav upphov till\n[enorma dataset bakom fler än 500 analysrapporter skrivna i ren SQL](/sv/portfolio/released-500-electricity-and-gis-data-reports/)\npå PostgreSQL och BigQuery. Datan innehöll geografiska koordinater, mätar-id, tidsstämplad\nenergiförbrukning och metadata om miljön. Varje rapport hade kommenterad SQL-kod så att kollegor\nkunde återskapa och granska den, och felsökningsanteckningar beskrev vanliga problem med\ndatakvaliteten, som saknade GPS-koordinater eller korrupta mätvärden, tillsammans med rekommenderad\nhantering. Sidan tillskriver arbetet en 10–15 % effektivare operativ planering.\n\n## Var det går fel\n\nDe flesta problem med ett dataset är en uppgift om datan som stannade i en enda persons huvud.\n\n**Granulariteten står ingenstans.** Timrader som läggs ihop med kvartsrader räknar vissa intervall\nfyra gånger. Skriv ned granulariteten i en mening, t.ex. en rad per timme och zon i UTC, och\nanpassa varje källa till den innan något summeras.\n\n**En lucka läses som noll.** Ett tomt fält, ett null och en nolla betyder tre olika saker, och en\nsumma behandlar i tysthet en saknad avläsning som ingen förbrukning alls. Saknade GPS-koordinater\noch korrupta mätvärden var så vanliga i projektet med de smarta elmätarna att de fick en\ndokumenterad hantering. Bestäm för varje kolumn om en lucka ska tas bort, fyllas i eller flaggas,\noch skriv i datasetets anteckningar vilket som gäller.\n\n**CSV-dialekten glider.** RFC 4180 beskriver den vanliga uppställningen, och verkliga filer avviker\nfrån den: en annan avgränsare, en rubrikrad som saknas, ett fält med kommatecken där citattecknen\nhar fallit bort. Enligt RFC:n är rubrikraden valfri, och den signaleras bara av en MIME-parameter\nsom försvinner när filen kopieras till disk. Jämför den första raden i varje ny fil med den\nförväntade rubrikraden innan något läses in.\n\n**En kopia glömmer var den kom ifrån.** Ett kurerat utdrag som läses in i ett annat system ser en\nmånad senare ut precis som originalet. Skriv ned källan, perioden, tidpunkten för uttaget och en\nkontrollsumma bredvid varje kopia, så att en rapport kan säga vilket utdrag den läste.\n\n**Ett dataset i BigQuery hamnar på fel plats.** Platsen för ett dataset bestäms när det skapas, och\natt flytta det innebär att kopiera eller skapa om det. Alla tabeller i en och samma SQL-fråga måste\nligga i dataset på samma plats, så välj platsen före den första inläsningen.\n\n## Läs mer\n\n- [Data Catalog Vocabulary (DCAT) - Version 3](https://www.w3.org/TR/vocab-dcat-3/) —\n  definitionerna från W3C av dataset, distribution och serie av dataset, med de egenskaper som\n  beskriver var och en.\n- [DCAT-AP-SE](https://docs.dataportal.se/dcat/sv/) — den svenska profilen från Myndigheten för\n  digital förvaltning, med de svenska namnen datamängd, distribution och datamängdsserie.\n- [BigQuery: Introduction to datasets](https://cloud.google.com/bigquery/docs/datasets-intro) —\n  behållarbetydelsen av ordet: projekt, platser, namngivning och gränser.\n- [JSON Lines](https://jsonlines.org/) — formatets tre regler och dess konventioner för filnamn.\n- [RFC 4180: Common Format and MIME Type for CSV Files](https://www.rfc-editor.org/rfc/rfc4180) —\n  den uppställning för CSV som de flesta verktyg följer, reglerna för citattecken och typen\n  text/csv.\n- [Apache Parquet: Overview](https://parquet.apache.org/docs/overview/) — vad det kolumnorienterade\n  filformatet är och var dess specifikation finns.\n\n\u003chttps://engineer.company/sv/glossary/dataset/\u003e\n","date_modified":"2026-11-08T05:31:18Z","description":"Vad som gör en mängd data till ett dataset, hur DCAT och BigQuery använder ordet, vilka filformat som bär det och var delad data tappar sin innebörd.","formats":{"gemtext":"https://engineer.company/sv/glossary/dataset/index.gmi","gopher":"https://engineer.company/sv/glossary/dataset/gophermap","html":"https://engineer.company/sv/glossary/dataset/","json":"https://engineer.company/sv/glossary/dataset/index.json","markdown":"https://engineer.company/sv/glossary/dataset/index.md","pdf":"https://engineer.company/sv/glossary/dataset/index.pdf"},"kind":"page","language":"sv","title":"Vad är ett dataset?","url":"https://engineer.company/sv/glossary/dataset/","version":1}