30 dagers strømdata på 180 ms
Utviklet varianter for timesaggregering av strømforbruk i Python,
SQL og Bash + Jq; Python‑varianten behandlet ett JSONL‑datasett for
30 dager på 180 ms i ytelsestesten.
2025

Situasjon. Selskapet behandler store mengder heterogene strømdata
fra flere datakilder, hver med sin egen rapporteringsfrekvens — fra
timesintervaller til 15‑minuttersintervaller, og i noen tilfeller
uregelmessige tidsstempler. Denne variasjonen gjør det utfordrende å
lage et sammenhengende, sammenlignbart datasett. For å støtte
presise energianalyser må disse dataene normaliseres til konsistente
forbruksverdier per time, aggregert per sone.

Oppgave. Målet var å ta rå hendelsesdata fra et historisk datasett
(i JSONL‑format) og konvertere dem til strømforbrukstall justert til
hele timer, strukturert som én rad per time og per sone. Konkret
innebar oppgaven:

  * Justere tidsstemplede data til strenge timesintervaller,

  * Aggregere total strømproduksjon innenfor hvert intervall ved å
summere mix‑verdiene,

  * Ta med utveksling over landegrensene ved å legge til import og
trekke fra eksport,

  * Levere de endelige verdiene i et strukturert, skalerbart format
egnet for videre analyse.

  * Løsningen måtte også være effektiv nok til å skalere til store
tidsvinduer (30+ dager) og på tvers av flere land/soner.

Handling. For å løse oppgaven ble tre ulike varianter av løsningen
implementert med Python, JQ (for JSON‑behandling på kommandolinjen)
og SQL, hver optimalisert for ulike bruksområder:

Python ble valgt for sin fleksibilitet, enkle datamanipulering og
evne til å håndtere transformasjoner i minnet effektivt. Med rene
Python‑funksjoner ble det bygget en pipeline som:

  * Parset JSONL‑filene til strukturerte datarammer

  * Samplet tidsseriedataene om til timesintervaller

  * Aggregerte produksjonen og beregnet netto strømforbruk
(produksjon + import − eksport)

  * Eksporterte resultatene som CSV eller lastet dem inn i en
lettvekts SQLite‑database for inspeksjon.

JQ ble brukt til å lage en rask løsning med minimale avhengigheter
for kommandolinjemiljøer, bygget som en kjede av JQ‑filtre.

I PostgreSQL ble JSONL‑dataene importert, normaliserte tabeller
opprettet og en serie SQL‑spørringer skrevet.

For å evaluere ytelsen ble hver løsning benchmarket med historiske
datasett på både 1 dag og 30 dager.

Resultat. Python‑implementasjonen viste seg å være den raskeste og
mest skalerbare løsningen, og fullførte:

  * Behandling av data for 1 dag på bare 34 ms

  * Datasettet for 30 dager på 180 ms

Dette bekreftet at den egnet seg til å håndtere lengre tidsrom og
samtidig holde behandlingstiden under ett sekund. Den ga også
tydelig, vedlikeholdbar kode som lett kunne utvides til behandling
av flere soner eller integreres i en ETL‑pipeline.

Samlet sett viste tilnærmingen med flere verktøy fleksibilitet i
verktøybruken, sterk ytelsesoptimalisering og robust håndtering av
utfordringer med tidsjustering og aggregering i reelle datapipelines
for strømdata.

Kategorier:
1Databaser	/nb/categories/databases/	engineer.company	70
1PostgreSQL	/nb/categories/postgresql/	engineer.company	70
1SQL	/nb/categories/sql/	engineer.company	70
1Data engineering	/nb/categories/data-engineering/	engineer.company	70
1Datapipelines (ETL/ELT)	/nb/categories/data-pipelines/	engineer.company	70
1Dataanalyse	/nb/categories/data-analytics/	engineer.company	70
1Automatisering og CI/CD	/nb/categories/automation/	engineer.company	70
1Ytelsesoptimalisering	/nb/categories/performance/	engineer.company	70
1Python	/nb/categories/python/	engineer.company	70

Tjenester:
1Optimalisering av databaseytelse	/nb/services/database-performance/	engineer.company	70
1Utvikling av datapipelines (ETL/ELT)	/nb/services/data-pipeline-development/	engineer.company	70
1Dataanalyse og BI‑dashbord	/nb/services/data-analytics-bi/	engineer.company	70

hDenne siden på nettet	URL:https://engineer.company/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/	engineer.company	70
