Data engineering

• Én infrastrukturplan til 14 afdelinger

  Har designet en omfattende infrastrukturramme for et forskningsinstitut, der omfatter 14 afdelinger, med fleksible moduler, samlede datapipelines og strukturerede supportstrategier, der sikrer langsigtet forankring.

• En måneds måleraflæsninger på 180 millisekunder

  Har udviklet en pipeline i Python / SQL / Bash + Jq, der aggregerer elforbrug pr. time og behandler datasæt for 30 dage fra heterogene JSONL‑kilder på 180 ms.

• Har gjort geodatapipelines 50 gange hurtigere

  Har gjort geografiske datapipelines 50 gange hurtigere ved at forbedre SQL‑programmeringen og datamodelleringen i PostgreSQL, MS SQL og Google Cloud BigQuery.

• Har forbedret GIS‑kortydeevne 10x med PostgreSQL

  Har gjort en geografisk kortapplikation 10 gange hurtigere gennem en strategisk databaseovergang fra MSSQL til PostgreSQL, herunder selve omlægningen af data, og optimeret behandlingen og datasikkerheden.

• Har løst 1.000 problemer i geografiske data

  Har løst 1.000 problemer i geografiske data og tidsseriedata ved hjælp af GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) og Bash, hvilket har sikret behandling af big data i høj kvalitet.

• Har designet og drevet 6 ETL/ELT‑pipelines

  Har designet, implementeret og administreret 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, shell‑scripting, PL/pgSQL og Transact‑SQL og integreret data, så et Python‑API kan behandle dem effektivt.

• Har leveret 8 Power BI‑projekter med manualer

  Har gennemført 8 Power BI‑projekter med grundige manualer og integreret Microsoft Power BI‑værktøjer med NodeJS API og Python FastAPI til effektiv dataanalyse og visualisering.

• Har drevet 100 data warehouse‑databaser

  Har stået for arkitektur, oprettelse og drift af 100 data warehouse‑databaser i PostgreSQL, MS SQL og Google BigQuery, primært med GIS- og tidsseriedata, og optimeret ydeevne og skalerbarhed.

• Har gjort PostgreSQL 10 gange hurtigere

  Har gjort PostgreSQL 10 gange hurtigere med strategisk indeksering, partitionering og forespørgselsoptimering og effektiviseret databasen til brugerdata, tenantdata, geodata og tidsserier af eldata.

• Har automatiseret GIS‑SaaS‑udrulning med CI/CD

  Har automatiseret udrulningen af en GIS SaaS‑applikation, databehandlingen og rapporteringssystemet med GitHub Actions CI/CD, Python, Bash og SQL.

• Har automatiseret leveringen af 20 GIS‑pipelines

  Har automatiseret levering af 20 GIS‑datapipelines og ETL‑processer til appdata og strømlinet infrastrukturautomatisering og rapportering.

• Har optimeret prognose- og investeringsstrategier

  Har optimeret prognose- og investeringsstrategier for 11 netselskaber og øget driftseffektiviteten gennem datadrevne GIS‑løsninger.

• Har ledet over 30 GIS‑projekter

  Har ledet udvikling, idriftsættelse og support af over 30 GIS‑projekter og udvist ekspertise i PostgreSQL, Bash, Python, JavaScript, GDAL, ArcGIS, PostGIS og Mapbox.

• Har sparet 4.000 timer med CI/CD i GitHub

  Har strømlinet processer for dataanalyse og softwareudvikling og sparet 4.000 timer ved at indføre CI/CD‑praksis med GitHub, GitLab, Bash og Python.

• Har udviklet et system til analyserapporter

  Har udviklet et rapporteringssystem til dataanalyse og øget den kvartalsvise softwareomsætning med 400 % gennem Python‑baserede PDF‑rapporter.

• Har automatiseret databehandling i Python og SQL

  Har automatiseret databehandlingsopgaver med shell‑scripting, PL/pgSQL, Python og Transact‑SQL og øget produktiviteten og effektiviteten.

• Har udviklet 600 PL/pgSQL‑ETL/ELT‑pipelines

  Har udviklet 600 PL/pgSQL‑baserede ETL/ELT‑pipelines for at strømline komplekse arbejdsgange i databehandlingen i flere udviklings- og produktionsmiljøer med PostgreSQL.

• Et kortprodukt, båret fra ende til anden

  Har stået for arkitektur, udvikling, implementering og support af infrastruktur, databehandling og kortapplikationen i 2 år i træk uden weekender, helligdage eller ferie, 10–14 timer om dagen.

• Hurtigere svar med et bedre valg af nøgle

  Har indført tidsordnede UUID v7‑identifikatorer (PostgreSQL 18) som entitetsnøgler for at reducere fragmentering af B‑tree‑indeks og øge forespørgselshastigheden.

• Har modelleret 348 tabeller i 34 Postgres‑skemaer

  Har modelleret det maritime domæne i 348 normaliserede tabeller fordelt på 34 PostgreSQL‑skemaer — fagfolk, virksomheder, skibe, jobs, anmeldelser og resten — med SMALLINT‑opslagstabeller og UUID v7‑nøgler.

• Har bygget egen analytics i PostgreSQL

  Har bygget egen produktanalyse i PostgreSQL — 47 funktioner over partitionerede event‑tabeller, der selv rydder op — pseudonymiseret bag et roterende salt og betinget af den besøgendes samtykke.

Dette arbejde er en del af det, vi tilbyder som Udvikling af datapipelines (ETL/ELT), GIS & geospatiale løsninger, Dataanalyse & BI‑dashboards, Databaseoptimering, Data governance & datakvalitet, Databasedesign & datamodellering, Backend- & API‑udvikling og Databaseadministration (DBA).

Er du ved at bygge noget, der kræver det her? Kontakt os.