Utveckling av datapipelines (ETL/ELT)
Data som tar sig från A till B av sig själv
Siffror som kommer fram dit de behövs, på fasta tider, utan att någon kopierar ett kalkylblad i slutet av månaden.
Utvalt arbete som visar den här tjänsten.
-
En infrastrukturplan för 14 avdelningar
Utformade ett gemensamt ramverk för ett forskningsinstitut som 14 avdelningar kunde använda tillsammans, där var och en behöll det som gör den annorlunda.
-
En månads mätaravläsningar på 180 millisekunder
Byggde pipelinen som gör om råa elmätaravläsningar till timvärden: 30 dagars data, insamlad från blandade källor, besvarad på 180 millisekunder.
-
Gjorde pipelinen för geodata 50 gånger snabbare
Gjorde en geografisk datapipeline 50 gånger snabbare genom att finjustera SQL och datamodell i PostgreSQL, MS SQL och Google BigQuery.
-
Löste 1 000 problem i geodata och tidsseriedata
Löste 1 000+ problem i geografisk big data och tidsserier med GDAL, PostGIS, ArcGIS, Mapbox, QGIS och SQL — 35 % snabbare frågor.
-
Utformade och drev 6 ETL/ELT‑pipelines
Utformade och drev 6 ETL/ELT-pipelines (BigQuery, MSSQL, PostgreSQL) och kortade ett manuellt jobb på 3 timmar till under 20 minuter med daglig synk.
-
Automatiserade GIS‑driftsättning i GitHub Actions
Automatiserade driftsättning, databehandling och rapportering för en GIS-SaaS med GitHub Actions CI/CD, Python, Bash och SQL — kortare, tillförlitliga releaser.
-
Automatiserade leveransen av 20 GIS‑datapipelines
Automatiserade 20 GIS-datapipelines och ETL-processer för appdata, effektiviserade infrastrukturautomatiseringen och levererade tillförlitlig, aktuell data.
-
Ledde över 30 GIS‑projekt från bygge till support
Ledde utveckling, driftsättning och support av 30+ GIS-projekt med PostgreSQL, Python, GDAL, ArcGIS, PostGIS och Mapbox genom hela livscykeln.
-
Sparade 4 000 timmar med GitHub och GitLab CI/CD
Sparade ~4 000 timmar genom att införa CI/CD med GitHub, GitLab, Bash och Python, vilket snabbade upp dataanalys och utveckling och gav ökad konsekvens.
-
Automatiserade databearbetning i Python, PL/pgSQL
Automatiserade databehandling med Shell, PL/pgSQL, Python och Transact-SQL, höjde produktiviteten och fick bort små återkommande fel.
-
Byggde 600 ETL/ELT‑pipelines i PL/pgSQL
Byggde 600 ETL/ELT-pipelines i PL/pgSQL för PostgreSQL i dev och prod, kortade den genomsnittliga körtiden 35 % och ökade genomströmningen med över 50 %.
-
En kartprodukt, buren hela vägen
Infrastrukturen, databehandlingen och själva kartapplikationen, byggda och hållna i drift i två år.
-
Byggde egen analys inuti PostgreSQL
Byggde egen produktanalys i PostgreSQL — 47 funktioner över självrensande partitionerade tabeller — pseudonymiserad och villkorad av samtycke.
-
Genererade 495 sidor från en SQLite‑export
Fyrahundranittiofem sidor genereras från en källa, att rätta ett påstående kostar ingenting och de adresser som webbplatsen någonsin har publicerat fortsätter…
Är det här arbetet du behöver få gjort, är nästa steg ett samtal.
Berätta om problemet, så säger vi ärligt om vi är rätt personer.