Datapipelines (ETL/ELT)

• Én infrastrukturplan til 14 afdelinger

  Har designet en omfattende infrastrukturramme for et forskningsinstitut, der omfatter 14 afdelinger, med fleksible moduler, samlede datapipelines og strukturerede supportstrategier, der sikrer langsigtet forankring.

• En måneds måleraflæsninger på 180 millisekunder

  Har udviklet en pipeline i Python / SQL / Bash + Jq, der aggregerer elforbrug pr. time og behandler datasæt for 30 dage fra heterogene JSONL‑kilder på 180 ms.

• Har gjort geodatapipelines 50 gange hurtigere

  Har gjort geografiske datapipelines 50 gange hurtigere ved at forbedre SQL‑programmeringen og datamodelleringen i PostgreSQL, MS SQL og Google Cloud BigQuery.

• Har forbedret GIS‑kortydeevne 10x med PostgreSQL

  Har gjort en geografisk kortapplikation 10 gange hurtigere gennem en strategisk databaseovergang fra MSSQL til PostgreSQL, herunder selve omlægningen af data, og optimeret behandlingen og datasikkerheden.

• Har løst 1.000 problemer i geografiske data

  Har løst 1.000 problemer i geografiske data og tidsseriedata ved hjælp af GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) og Bash, hvilket har sikret behandling af big data i høj kvalitet.

• Har designet og drevet 6 ETL/ELT‑pipelines

  Har designet, implementeret og administreret 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, shell‑scripting, PL/pgSQL og Transact‑SQL og integreret data, så et Python‑API kan behandle dem effektivt.

• Har automatiseret GIS‑SaaS‑udrulning med CI/CD

  Har automatiseret udrulningen af en GIS SaaS‑applikation, databehandlingen og rapporteringssystemet med GitHub Actions CI/CD, Python, Bash og SQL.

• Har automatiseret leveringen af 20 GIS‑pipelines

  Har automatiseret levering af 20 GIS‑datapipelines og ETL‑processer til appdata og strømlinet infrastrukturautomatisering og rapportering.

• Har sparet 4.000 timer med CI/CD i GitHub

  Har strømlinet processer for dataanalyse og softwareudvikling og sparet 4.000 timer ved at indføre CI/CD‑praksis med GitHub, GitLab, Bash og Python.

• Har automatiseret databehandling i Python og SQL

  Har automatiseret databehandlingsopgaver med shell‑scripting, PL/pgSQL, Python og Transact‑SQL og øget produktiviteten og effektiviteten.

• Har udviklet 600 PL/pgSQL‑ETL/ELT‑pipelines

  Har udviklet 600 PL/pgSQL‑baserede ETL/ELT‑pipelines for at strømline komplekse arbejdsgange i databehandlingen i flere udviklings- og produktionsmiljøer med PostgreSQL.

• Et kortprodukt, båret fra ende til anden

  Har stået for arkitektur, udvikling, implementering og support af infrastruktur, databehandling og kortapplikationen i 2 år i træk uden weekender, helligdage eller ferie, 10–14 timer om dagen.

• Har genereret 495 sider fra en SQLite‑eksport

  Har genereret 495 resultatsider på tre sprog fra en skrivebeskyttet SQLite‑eksport med sidens adresse skrevet som data, så en rettelse i en sætning ikke længere flyttede siden og ødelagde linket.

Dette arbejde er en del af det, vi tilbyder som Udvikling af datapipelines (ETL/ELT), GIS & geospatiale løsninger, DevOps & CI/CD‑automatisering, Klargøring af data til AI, Data governance & datakvalitet, Databaseoptimering, Dataanalyse & BI‑dashboards og Design af data warehouse.

Er du ved at bygge noget, der kræver det her? Kontakt os.