{"canonical_url":"https://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/","content_markdown":"# 30 dagers strømdata på 180 ms\n\nUtviklet varianter for timesaggregering av strømforbruk i Python, SQL og Bash + Jq; Python‑varianten behandlet ett JSONL‑datasett for 30 dager på 180 ms i ytelsestesten.\n\n2025\n\n**Situasjon.** Selskapet behandler store mengder heterogene strømdata fra flere datakilder, hver med sin egen rapporteringsfrekvens — fra timesintervaller til 15‑minuttersintervaller, og i noen tilfeller uregelmessige tidsstempler. Denne variasjonen gjør det utfordrende å lage et sammenhengende, sammenlignbart datasett. For å støtte presise energianalyser må disse dataene normaliseres til konsistente forbruksverdier per time, aggregert per sone.\n\n**Oppgave.** Målet var å ta rå hendelsesdata fra et historisk datasett (i JSONL‑format) og konvertere dem til strømforbrukstall justert til hele timer, strukturert som én rad per time og per sone. Konkret innebar oppgaven:\n\n- Justere tidsstemplede data til strenge timesintervaller,\n- Aggregere total strømproduksjon innenfor hvert intervall ved å summere mix‑verdiene,\n- Ta med utveksling over landegrensene ved å legge til import og trekke fra eksport,\n- Levere de endelige verdiene i et strukturert, skalerbart format egnet for videre analyse.\n- Løsningen måtte også være effektiv nok til å skalere til store tidsvinduer (30+ dager) og på tvers av flere land/soner.\n\n**Handling.** For å løse oppgaven ble tre ulike varianter av løsningen implementert med Python, JQ (for JSON‑behandling på kommandolinjen) og SQL, hver optimalisert for ulike bruksområder:\n\nPython ble valgt for sin fleksibilitet, enkle datamanipulering og evne til å håndtere transformasjoner i minnet effektivt. Med rene Python‑funksjoner ble det bygget en pipeline som:\n- Parset JSONL‑filene til strukturerte datarammer\n- Samplet tidsseriedataene om til timesintervaller\n- Aggregerte produksjonen og beregnet netto strømforbruk (produksjon + import − eksport)\n- Eksporterte resultatene som CSV eller lastet dem inn i en lettvekts SQLite‑database for inspeksjon.\n\nJQ ble brukt til å lage en rask løsning med minimale avhengigheter for kommandolinjemiljøer, bygget som en kjede av JQ‑filtre.\n\nI PostgreSQL ble JSONL‑dataene importert, normaliserte tabeller opprettet og en serie SQL‑spørringer skrevet.\n\nFor å evaluere ytelsen ble hver løsning benchmarket med historiske datasett på både 1 dag og 30 dager.\n\n**Resultat.** Python‑implementasjonen viste seg å være den raskeste og mest skalerbare løsningen, og fullførte:\n\n- Behandling av data for 1 dag på bare 34 ms\n- Datasettet for 30 dager på 180 ms\n\nDette bekreftet at den egnet seg til å håndtere lengre tidsrom og samtidig holde behandlingstiden under ett sekund. Den ga også tydelig, vedlikeholdbar kode som lett kunne utvides til behandling av flere soner eller integreres i en ETL‑pipeline.\n\nSamlet sett viste tilnærmingen med flere verktøy fleksibilitet i verktøybruken, sterk ytelsesoptimalisering og robust håndtering av utfordringer med tidsjustering og aggregering i reelle datapipelines for strømdata.\n\n---\n\n- Rolle: Plattform- og dataingeniør\n- Kategorier: [Databaser](https://engineer.company/nb/categories/databases/), [PostgreSQL](https://engineer.company/nb/categories/postgresql/), [SQL](https://engineer.company/nb/categories/sql/), [Data engineering](https://engineer.company/nb/categories/data-engineering/), [Datapipelines (ETL/ELT)](https://engineer.company/nb/categories/data-pipelines/), [Dataanalyse](https://engineer.company/nb/categories/data-analytics/), [Automatisering og CI/CD](https://engineer.company/nb/categories/automation/), [Ytelsesoptimalisering](https://engineer.company/nb/categories/performance/), [Python](https://engineer.company/nb/categories/python/)\n- Tjenester: [Optimalisering av databaseytelse](https://engineer.company/nb/services/database-performance/), [Utvikling av datapipelines (ETL/ELT)](https://engineer.company/nb/services/data-pipeline-development/), [Dataanalyse og BI‑dashbord](https://engineer.company/nb/services/data-analytics-bi/)\n\n\u003chttps://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/\u003e\n","date_modified":"2026-11-15T19:47:44Z","description":"Bygde og ytelsestestet aggregering av strømforbruk i Python, SQL og Bash + Jq; Python behandlet ett JSONL-datasett for 30 dager på 180 ms.","formats":{"gemtext":"https://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.gmi","gopher":"https://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/gophermap","html":"https://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/","json":"https://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.json","markdown":"https://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.md","pdf":"https://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.pdf"},"kind":"page","language":"nb","title":"Utviklet en timesbasert strømpipeline, 180 ms","url":"https://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/","version":1}