Udvikling af datapipelines (ETL/ELT)
Data fra A til B helt af sig selv
Tal, der lander, hvor der er brug for dem, efter en fast plan, uden at nogen kopierer et regneark ved månedens slutning.

Foto: fotolehrling / Pixabay 
Foto: wal_172619 / Pixabay
Udvalgte resultater, der demonstrerer denne ydelse.
-
Én infrastrukturplan til 14 afdelinger
Har designet en omfattende infrastrukturramme for et forskningsinstitut, der omfatter 14 afdelinger, med fleksible moduler, samlede datapipelines og strukturerede supportstrategier, der sikrer langsigtet forankring.
-
En måneds måleraflæsninger på 180 millisekunder
Har udviklet en pipeline i Python / SQL / Bash + Jq, der aggregerer elforbrug pr. time og behandler datasæt for 30 dage fra heterogene JSONL‑kilder på 180 ms.
-
Har gjort geodatapipelines 50 gange hurtigere
Har gjort geografiske datapipelines 50 gange hurtigere ved at forbedre SQL‑programmeringen og datamodelleringen i PostgreSQL, MS SQL og Google Cloud BigQuery.
-
Har løst 1.000 problemer i geografiske data
Har løst 1.000 problemer i geografiske data og tidsseriedata ved hjælp af GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) og Bash, hvilket har sikret behandling af big data i høj kvalitet.
-
Har designet og drevet 6 ETL/ELT‑pipelines
Har designet, implementeret og administreret 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, shell‑scripting, PL/pgSQL og Transact‑SQL og integreret data, så et Python‑API kan behandle dem effektivt.
-
Har automatiseret GIS‑SaaS‑udrulning med CI/CD
Har automatiseret udrulningen af en GIS SaaS‑applikation, databehandlingen og rapporteringssystemet med GitHub Actions CI/CD, Python, Bash og SQL.
-
Har automatiseret leveringen af 20 GIS‑pipelines
Har automatiseret levering af 20 GIS‑datapipelines og ETL‑processer til appdata og strømlinet infrastrukturautomatisering og rapportering.
-
Har ledet over 30 GIS‑projekter
Har ledet udvikling, idriftsættelse og support af over 30 GIS‑projekter og udvist ekspertise i PostgreSQL, Bash, Python, JavaScript, GDAL, ArcGIS, PostGIS og Mapbox.
-
Har sparet 4.000 timer med CI/CD i GitHub
Har strømlinet processer for dataanalyse og softwareudvikling og sparet 4.000 timer ved at indføre CI/CD‑praksis med GitHub, GitLab, Bash og Python.
-
Har automatiseret databehandling i Python og SQL
Har automatiseret databehandlingsopgaver med shell‑scripting, PL/pgSQL, Python og Transact‑SQL og øget produktiviteten og effektiviteten.
-
Har udviklet 600 PL/pgSQL‑ETL/ELT‑pipelines
Har udviklet 600 PL/pgSQL‑baserede ETL/ELT‑pipelines for at strømline komplekse arbejdsgange i databehandlingen i flere udviklings- og produktionsmiljøer med PostgreSQL.
-
Et kortprodukt, båret fra ende til anden
Har stået for arkitektur, udvikling, implementering og support af infrastruktur, databehandling og kortapplikationen i 2 år i træk uden weekender, helligdage eller ferie, 10–14 timer om dagen.
-
Har bygget egen analytics i PostgreSQL
Har bygget egen produktanalyse i PostgreSQL — 47 funktioner over partitionerede event‑tabeller, der selv rydder op — pseudonymiseret bag et roterende salt og betinget af den besøgendes samtykke.
-
Har genereret 495 sider fra en SQLite‑eksport
Har genereret 495 resultatsider på tre sprog fra en skrivebeskyttet SQLite‑eksport med sidens adresse skrevet som data, så en rettelse i en sætning ikke længere flyttede siden og ødelagde linket.
Hvis det er det arbejde, du har brug for, er næste skridt en samtale.
Fortæl os problemet, så siger vi ærligt, om vi er de rette til det.

