{"canonical_url":"https://engineer.company/nb/glossary/dataset/","content_markdown":"# Datasett\n\n## Hva det er\n\nEt datasett er en avgrenset mengde data som folk behandler som én ting. Det har et navn, en\nkilde, en periode det dekker og en form som alle postene deler, og de fire opplysningene sier hvor\ndet begynner og slutter. En måneds måleravlesninger i én fil er et datasett, og det er også en\nnattlig eksport av tre tabeller som hører sammen. På engelsk skrives ordet både dataset og data\nset, og begge formene dukker opp i norske team. Ordet sier ingenting om størrelse eller format,\nbare at dataene inni hører sammen.\n\nSidene på dette nettstedet bruker ordet i denne praktiske betydningen. Én omtaler et historisk\ndatasett i JSONL-format og datasett på 1 dag og 30 dager brukt til ytelsesmålinger, en annen\nkuraterte datasett og tabeller eksportert for innlasting et annet sted, en tredje enorme datasett\nfra smartmålere. Hver gang trekker ordet en strek rundt dataene før noe blir gjort med dem.\n\nW3Cs Data Catalog Vocabulary, DCAT, gir ordet en formell ramme. Versjon 3 ble W3C-anbefaling 22.\naugust 2024 og definerer et datasett som en samling data, publisert eller kuratert av én aktør og\ntilgjengelig for tilgang eller nedlasting i én eller flere serialiseringer eller formater.\nBegrepet er bredt med vilje: tall, tekst, bilder og lyd teller alle sammen. Deretter skiller DCAT\nmellom tre ting som dagligtalen blander sammen:\n\n- **Dataset**: dataene som idé, f.eks. timeforbruk per sone for 2024.\n- **Distribution**: én tilgjengelig form av dem, f.eks. en CSV-fil du kan laste ned. Ett datasett\n  kan ha flere.\n- **Dataset series**: datasett som publiseres hver for seg, men har nok til felles til å grupperes,\n  f.eks. én fil per måned.\n\nTo filer i ulike formater kan altså være ett datasett, og to månedsfiler under samme navn kan\nvære to medlemmer av en serie.\n\nI Google BigQuery har ordet en annen og smalere betydning. Der er et datasett en beholder for\ntabeller, visninger og andre ressurser, og det ligger inne i et prosjekt. En tabell må høre til et\ndatasett, så datasettet opprettes før noen data lastes inn. Det adresseres som `project.dataset`\ni GoogleSQL og som `project:dataset` i kommandolinjeverktøyet bq. Sammenhengen avgjør hvilken\nbetydning som gjelder.\n\n## Hvorfor det er viktig\n\nEn grense gjør data sammenlignbare. To sett med avlesninger kan bare sammenlignes når begge dekker\nsamme periode, samme steder og samme avstand mellom postene, og det er ved å navngi et datasett at\nde vilkårene blir festet. DCAT gir avstanden en egen egenskap, temporal resolution: den minste\navstanden mellom elementene i datasettet, skrevet som en varighet, f.eks. `P1D` for ett døgn. Et\ndatasett som oppgir oppløsningen sin, forteller leseren om radene er timer, kvarter eller noe\nuregelmessig før den første summen er regnet ut.\n\nBeskrivelsen må følge dataene. DCAT lister opp hva en distribusjon kan si om seg selv: medietype,\nformat, komprimeringsformat, pakkeformat, størrelse i byte og en kontrollsum. Kontrollsummen lar\nmottakeren bekrefte at innholdet er uendret underveis. Spesifikasjonens eget eksempel på et\nkomprimeringsformat er gzip. En fil som kommer med disse opplysningene, kan sjekkes og åpnes; en\nfil som kommer naken, må gjettes på.\n\nFormatet på distribusjonen avgjør hvem som kan lese den. Tre er vanlige:\n\n- **CSV.** RFC 4180 fra 2005 beskriver oppsettet de fleste implementasjoner ser ut til å følge: én\n  post per linje, en valgfri overskriftslinje, doble anførselstegn rundt et felt som inneholder\n  komma, linjeskift eller dobbelt anførselstegn, og et dobbelt anførselstegn inne i et felt skrevet\n  to ganger. Nesten ethvert verktøy åpner det.\n- **JSON Lines.** Én gyldig JSON-verdi per linje, i UTF-8, med `\\n` som\n  linjeskille, lagret som `.jsonl` eller, gzip-komprimert, som `.jsonl.gz`. Et\n  avsluttende linjeskift anbefales sterkt, men er ikke påkrevd. Programmer leser\n  én post om gangen, og tekstverktøy i Unix-stil og skall-pipelines håndterer\n  formatet godt.\n- **Parquet.** Et kolonneorientert filformat med åpen kildekode, laget for effektiv lagring og\n  henting, med komprimerings- og kodingsskjemaer for å håndtere komplekse data i store mengder.\n\nHer er én post i de to første formatene. Kommaet inne i merknaden tvinger frem anførselstegn i\nCSV-en:\n\n```text\nid,read_at,kwh,note\nM-17,2024-01-08T10:00:00Z,3.21,\"late, manual\"\n\n{\"id\":\"M-17\",\"read_at\":\"2024-01-08T10:00:00Z\",\"kwh\":3.21,\"note\":\"late, manual\"}\n```\n\n## Slik ser det ut i praksis\n\nEt datasett blir formet, flyttet og lest, og arbeidet nedenfor har ett prosjekt for hvert av de tre\nstegene.\n\n**Formet.** Strømdata kom fra flere datakilder, hver med sin egen rapporteringsfrekvens, fra\ntimesintervaller til 15-minuttersintervaller og i noen tilfeller uregelmessige tidsstempler. Det\ngjorde det vanskelig å lage et sammenhengende, sammenlignbart datasett. Arbeidet\n[tok rå hendelsesdata fra et historisk JSONL-datasett og gjorde dem om til timesforbruk](/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/),\nmed én rad per time og per sone. Produksjonsmiksen i hvert intervall ble summert, import lagt\ntil og eksport trukket fra. Tre varianter ble skrevet, i Python, JQ og SQL. Python-pipelinen\nparset JSONL-filene til datarammer, samplet tidsserien om til timesintervaller og eksporterte\nresultatene som CSV eller lastet dem inn i en lettvekts SQLite-database for inspeksjon. Målt på\nhistoriske datasett på 1 dag og 30 dager var den raskest av de tre, med 34 ms for ett døgn og 180\nms for tretti. Arbeidet mellom inndata og utdata er en endring i granularitet: fra hver kildes\negen takt til én fast rad per time og sone.\n\n**Flyttet.** Et sett med\n[seks ETL/ELT-pipelines fraktet data fra et eksternt datavarehus bak et IPsec-VPN inn i Google BigQuery](/nb/portfolio/designed-and-ran-6-etl-elt-pipelines/).\nDataene kom som komprimerte arkiver med Parquet-, CSV- og .bak-filer, og Bash- og Python-skript\nklassifiserte hver fil etter type og skjema. Etter at prosedyrer hadde renset, normalisert og\nberiket radene, ble kuraterte datasett og tabeller eksportert til mellomformater, komprimert med\ngzip og overført til en bucket i Google Cloud Storage. Derfra lastet bq CLI og Python-skript dem\ninn i BigQuery. Datasettene som før kostet 3+ timer manuelt arbeid, lå i BigQuery under 20 minutter\netter at kjøringen startet, og de ble fornyet daglig i stedet for ukentlig.\n\n**Lest.** Smartmålere i flere geografiske regioner produserte\n[enorme datasett bak over 500 analyserapporter skrevet i ren SQL](/nb/portfolio/released-500-electricity-and-gis-data-reports/)\npå PostgreSQL og BigQuery. Dataene omfattet geolokasjonskoordinater, måler-ID-er, tidsstemplet\nenergibruk og miljømetadata. Hver rapport hadde kommentert SQL, slik at kolleger kunne\nreprodusere og etterprøve den, og feilsøkingsnotater dokumenterte vanlige datakvalitetsproblemer,\nsom manglende GPS-koordinater eller korrupte målerverdier, sammen med anbefalt håndtering. Siden\ntilskriver arbeidet en forbedring på 10–15 % i effektiviteten i den operative planleggingen.\n\n## Hvor det går galt\n\nDet meste av trøbbel med datasett er en opplysning om dataene som ble liggende i hodet på én\nperson.\n\n**Granulariteten står ikke skrevet noe sted.** Timesrader lagt sammen med kvartersrader teller\nnoen intervaller fire ganger. Skriv granulariteten ned i én setning, f.eks. én rad per time per\nsone i UTC, og juster hver kilde etter den før noe summeres.\n\n**Et hull leses som null.** Et tomt felt, en null-verdi og tallet 0 betyr tre forskjellige ting,\nog en sum behandler stille en manglende avlesning som null forbruk. Manglende GPS-koordinater og\nkorrupte målerverdier var vanlige nok i smartmålerprosjektet til å få dokumentert håndtering.\nBestem for hver kolonne om et hull skal droppes, fylles eller flagges, og skriv hvilket i notatene\ntil datasettet.\n\n**CSV-dialekten glir.** RFC 4180 beskriver det vanlige oppsettet, og virkelige filer avviker fra\ndet: et annet skilletegn, en overskrift som mangler, et felt med komma der anførselstegnene er\nutelatt. RFC-en gjør overskriftslinjen valgfri og signaliserer den bare med en MIME-parameter, som\nforsvinner i det øyeblikket filen kopieres til disk. Sjekk første linje i hver ny fil mot den\nforventede overskriften før innlasting.\n\n**En kopi glemmer hvor den kom fra.** Et kuratert uttrekk lastet inn i et annet system ser en\nmåned senere helt likt ut som originalen. Noter kilden, perioden, uttrekkstidspunktet og en\nkontrollsum ved siden av hver kopi, slik at en rapport kan si hvilket uttrekk den leste.\n\n**Et BigQuery-datasett havner på feil sted.** Plasseringen til et datasett låses når det\nopprettes; å flytte det betyr å kopiere eller opprette datasettet på nytt. Alle tabellene i én\nspørring må ligge i datasett på samme plassering, så velg plassering før den første innlastingen.\n\n## Les mer\n\n- [Data Catalog Vocabulary (DCAT) - Version 3](https://www.w3.org/TR/vocab-dcat-3/)\n  — W3Cs definisjoner av dataset, distribution og dataset series, med egenskapene som beskriver\n  hver av dem.\n- [BigQuery: Introduction to datasets](https://cloud.google.com/bigquery/docs/datasets-intro)\n  — ordet i betydningen beholder: prosjekter, plasseringer, navngivning og grenser.\n- [JSON Lines](https://jsonlines.org/) — formatets tre regler og konvensjonene for filnavn.\n- [RFC 4180: Common Format and MIME Type for CSV Files](https://www.rfc-editor.org/rfc/rfc4180)\n  — CSV-oppsettet de fleste verktøy følger, reglene for anførselstegn og typen text/csv.\n- [Apache Parquet: Overview](https://parquet.apache.org/docs/overview/) — hva det\n  kolonneorienterte filformatet er, og hvor spesifikasjonen finnes.\n\n\u003chttps://engineer.company/nb/glossary/dataset/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Hva som gjør en mengde data til et datasett, hvordan DCAT og BigQuery bruker ordet, hvilke filformater som bærer det, og hvor delte data mister meningen.","formats":{"gemtext":"https://engineer.company/nb/glossary/dataset/index.gmi","gopher":"https://engineer.company/nb/glossary/dataset/gophermap","html":"https://engineer.company/nb/glossary/dataset/","json":"https://engineer.company/nb/glossary/dataset/index.json","markdown":"https://engineer.company/nb/glossary/dataset/index.md","pdf":"https://engineer.company/nb/glossary/dataset/index.pdf"},"kind":"page","language":"nb","title":"Hva er et datasett?","url":"https://engineer.company/nb/glossary/dataset/","version":1}