{"canonical_url":"https://engineer.company/da/glossary/dataset/","content_markdown":"# Datasæt\n\n## Hvad det er\n\nEt datasæt, på engelsk dataset, er en afgrænset mængde data, som man håndterer\nsom én ting: det har et navn, en kilde, en periode, det dækker, og en form, som\nalle dets poster deler, og de fire forhold siger, hvor det begynder og slutter.\nEn måneds måleraflæsninger i én fil er et datasæt; det samme er en natlig\neksport af tre relaterede tabeller. Ordet siger intet om størrelse eller format,\nkun at dataene indeni hører sammen.\n\nSiderne på dette site bruger ordet i den praktiske betydning. Én taler om et\nhistorisk datasæt i JSONL-format og om datasæt på 1 dag og 30 dage brugt til\nbenchmarks, en anden om kuraterede datasæt og tabeller, der eksporteres for at\nblive indlæst andetsteds, en tredje om enorme datasæt fra fjernaflæste elmålere.\nHver gang trækker ordet en grænse om data, før der gøres noget ved dem.\n\nW3C's Data Catalog Vocabulary, DCAT, giver ordet en formel ramme. Version 3 blev\nW3C-anbefaling den 22. august 2024 og definerer et datasæt som en samling data,\noffentliggjort eller kurateret af én aktør og tilgængelig til adgang eller\ndownload i en eller flere serialiseringer eller formater. Begrebet er bredt med\nvilje: tal, tekst, billeder og lyd kan alle indgå. DCAT skiller derefter tre\nting ad, som daglig tale blander sammen:\n\n- **Dataset**: dataene som idé, for eksempel timeforbrug pr. zone for 2024.\n- **Distribution**: én tilgængelig form af datasættet, for eksempel en CSV-fil\n  til download; ét datasæt kan have flere.\n- **Dataset series**: datasæt, der udgives hver for sig, men har nok til fælles\n  til at blive samlet, for eksempel én fil pr. måned.\n\nTo filer i forskellige formater kan altså være ét datasæt, og to månedsfiler\nunder samme navn kan være to medlemmer af en serie.\n\nI Google BigQuery har ordet en anden, snævrere betydning. Der er et datasæt en\nbeholder til tabeller, views og andre ressourcer, og det ligger inde i et\nprojekt. En tabel skal høre til et datasæt, så datasættet oprettes, før der\nindlæses data, og det adresseres som `project.dataset` i GoogleSQL og som\n`project:dataset` i kommandolinjeværktøjet bq. Sammenhængen afgør, hvilken\nbetydning der er i spil.\n\n## Hvorfor det betyder noget\n\nEn grænse gør data sammenlignelige. To sæt aflæsninger kan kun sammenlignes, når\nbegge dækker samme periode, samme steder og samme afstand mellem posterne, og at\nnavngive et datasæt er måden, de vilkår fastlægges på. DCAT giver afstanden sin\negen egenskab, temporal resolution, den mindste afstand mellem elementer i\ndatasættet, skrevet som en varighed som `P1D` for én dag. Et datasæt, der\noplyser sin opløsning, fortæller læseren, om rækkerne er timer, kvarterer eller\nnoget uregelmæssigt, før den første sum.\n\nBeskrivelsen skal følge med dataene. DCAT opregner, hvad en distribution kan\nsige om sig selv: medietype, format, komprimeringsformat, pakkeformat, størrelse\ni byte og en checksum, og den sidste lader modtageren kontrollere, at indholdet\ner uændret. Specifikationens eget eksempel på et komprimeringsformat er gzip. En\nfil, der ankommer med de oplysninger, kan kontrolleres og åbnes; en fil, der\nankommer nøgen, må man gætte sig til.\n\nFormatet på en distribution afgør, hvem der kan læse den. Tre er almindelige:\n\n- **CSV.** RFC 4180 fra 2005 beskriver det layout, de fleste implementeringer\n  ser ud til at følge: én post pr. linje, en valgfri overskriftslinje, dobbelte\n  anførselstegn om ethvert felt, der rummer et komma, et linjeskift eller et\n  dobbelt anførselstegn, og et dobbelt anførselstegn inde i et felt skrevet to\n  gange.\n  Næsten alle værktøjer kan åbne CSV-filer.\n- **JSON Lines.** Én gyldig JSON-værdi pr. linje, UTF-8, hvor linjerne adskilles\n  med `\\n`, gemt som `.jsonl` eller, komprimeret med gzip, `.jsonl.gz`. Et\n  afsluttende linjeskift anbefales kraftigt, men er ikke påkrævet. Programmer\n  læser filen én post ad gangen, og tekstværktøjer i Unix-stil og pipelines i en\n  shell håndterer formatet godt.\n- **Parquet.** Et open source-filformat, der er orienteret efter kolonner og\n  bygget til effektiv lagring og hentning af data, med komprimerings- og\n  kodningsmetoder til at håndtere komplekse data i store mængder.\n\nHer er én post i de to første formater, hvor kommaet i noten tvinger\nanførselstegn frem i CSV-udgaven:\n\n```text\nid,read_at,kwh,note\nM-17,2024-01-08T10:00:00Z,3.21,\"late, manual\"\n\n{\"id\":\"M-17\",\"read_at\":\"2024-01-08T10:00:00Z\",\"kwh\":3.21,\"note\":\"late, manual\"}\n```\n\n## Sådan ser det ud i praksis\n\nEldata kom fra flere datakilder, som hver havde sin egen rapporteringsfrekvens,\nfra timeintervaller til intervaller på 15 minutter og i nogle tilfælde\nuregelmæssige tidsstempler, og det gjorde det svært at skabe et sammenhængende\nog sammenligneligt datasæt. Arbejdet\n[tog rå hændelsesdata fra et historisk JSONL-datasæt og gjorde dem til timeforbrug med én række pr. time og pr. zone](/da/portfolio/a-month-of-meter-readings-in-180-milliseconds/)\nved at summere produktionsmikset i hvert interval, lægge import til og trække\neksport fra. Der blev skrevet tre varianter, i Python, JQ og SQL.\nPython-pipelinen parsede JSONL-filerne til dataframes, samplede tidsserierne om\ntil timeintervaller og eksporterede resultaterne som CSV eller indlæste dem i en\nlet SQLite-database, så de kunne efterses. I benchmarks med historiske datasæt\npå 1 dag og 30 dage var den den hurtigste af de tre: 34 ms for én dag og 180 ms\nfor tredive. Arbejdet mellem input og output er et skift i granularitet, fra\nhver kildes egen takt til én fast række pr. time og zone.\n\nEt datasæt bliver også flyttet, og et sæt\n[på seks ETL/ELT-pipelines flyttede data fra et data warehouse bag en IPsec VPN til Google BigQuery](/da/portfolio/designed-and-ran-6-etl-elt-pipelines/).\nDataene kom som komprimerede arkiver med Parquet-, CSV- og .bak-filer, og Bash-\nog Python-scripts klassificerede hver fil efter type og skema. Da procedurer\nhavde renset, normaliseret og beriget rækkerne, blev kuraterede datasæt og\ntabeller eksporteret til mellemformater, komprimeret med gzip og overført til en\nGoogle Cloud Storage-bucket, hvorfra bq CLI og Python-scripts indlæste dem i\nBigQuery. For datasættene i BigQuery betød det friske data hver dag i stedet for\nhver uge, og hele turen fra arkiv til tabel tog under 20 minutter, hvor den før\nhavde krævet over 3 timers manuelt arbejde.\n\nAndre steder er datasættet noget, der skal læses. Fjernaflæste elmålere i flere\ngeografiske regioner leverede\n[enorme datasæt bag over 500 analyserapporter skrevet i ren SQL](/da/portfolio/released-500-electricity-and-gis-data-reports/)\ni PostgreSQL og BigQuery. Dataene omfattede geografiske koordinater,\nmåler-id'er, tidsstemplet energiforbrug og miljømetadata. Hver rapport havde\nkommenteret SQL, så kolleger kunne reproducere og efterprøve den, og noter om\nfejlfinding dokumenterede almindelige datakvalitetsproblemer, for eksempel\nmanglende GPS-koordinater eller korrupte målerværdier, med anbefalet håndtering.\nSiden tilskriver arbejdet en forbedring af effektiviteten i driftsplanlægningen\npå 10–15 %.\n\n## Hvor det går galt\n\nDet meste besvær med datasæt er et faktum om dataene, der blev i ét menneskes\nhoved.\n\n**Granulariteten står ingen steder.** Timerækker lagt sammen med kvartersrækker\ntæller nogle intervaller fire gange. Skriv granulariteten ned i én sætning, for\neksempel én række pr. time pr. zone i UTC, og afstem hver kilde efter den, før\nder summeres.\n\n**Et hul læses som nul.** Et tomt felt, en null og et 0 betyder tre forskellige\nting, og en sum behandler stille en manglende aflæsning som intet forbrug.\nManglende GPS-koordinater og korrupte målerværdier var almindelige nok i\nmåleprojektet til at få dokumenteret håndtering. Afgør for hver kolonne, om et\nhul droppes, udfyldes eller markeres, og skriv valget i datasættets noter.\n\n**CSV-dialekten glider.** RFC 4180 beskriver det almindelige layout, og\nvirkelige filer afviger fra det: en anden separator, en manglende overskrift, et\nfelt med komma, hvor anførselstegnene er glemt. RFC'en gør overskriftslinjen\nvalgfri og angiver dens tilstedeværelse med en MIME-parameter, som ikke følger\nmed, når filen kopieres til disk. Kontrollér hver ny fils første linje mod den forventede\noverskrift før indlæsning.\n\n**En kopi glemmer, hvor den kom fra.** Et kurateret udtræk, der er indlæst i et\nandet system, ligner originalen til forveksling en måned senere. Notér kilde,\nperiode, udtrækstidspunkt og en checksum ved hver kopi, så en rapport kan sige,\nhvilket udtræk den læste.\n\n**Et BigQuery-datasæt havner det forkerte sted.** Et datasæts placering\nfastlægges ved oprettelsen; at flytte det betyder at kopiere eller genskabe\ndatasættet. Alle tabeller i én SQL-forespørgsel skal ligge i datasæt med samme\nplacering, så vælg placeringen før den første indlæsning.\n\n## Læs mere\n\n- [Data Catalog Vocabulary (DCAT) - Version 3](https://www.w3.org/TR/vocab-dcat-3/)\n  — W3C's definitioner af datasæt, distribution og datasætserie med de\n  egenskaber, der beskriver hver af dem.\n- [BigQuery: Introduction to datasets](https://cloud.google.com/bigquery/docs/datasets-intro)\n  — ordets betydning som beholder: projekter, placeringer, navngivning og\n  begrænsninger.\n- [JSON Lines](https://jsonlines.org/) — formatets tre regler og dets\n  konventioner for filnavne.\n- [RFC 4180: Common Format and MIME Type for CSV Files](https://www.rfc-editor.org/rfc/rfc4180)\n  — det CSV-layout, de fleste værktøjer følger, reglerne for anførselstegn og\n  typen text/csv.\n- [Apache Parquet: Overview](https://parquet.apache.org/docs/overview/) — hvad\n  det kolonneorienterede filformat er, og hvor specifikationen ligger.\n\n\u003chttps://engineer.company/da/glossary/dataset/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Hvad der gør en mængde data til et datasæt, hvordan DCAT og BigQuery bruger ordet, hvilke filformater der bærer det, og hvor delte data mister mening.","formats":{"gemtext":"https://engineer.company/da/glossary/dataset/index.gmi","gopher":"https://engineer.company/da/glossary/dataset/gophermap","html":"https://engineer.company/da/glossary/dataset/","json":"https://engineer.company/da/glossary/dataset/index.json","markdown":"https://engineer.company/da/glossary/dataset/index.md","pdf":"https://engineer.company/da/glossary/dataset/index.pdf"},"kind":"page","language":"da","title":"Hvad er et datasæt?","url":"https://engineer.company/da/glossary/dataset/","version":1}