Data engineering

• Utformade ett heltäckande infrastrukturramverk för ett forskningsinstitut som berörde 14 avdelningar, med flexibla moduler, enhetliga datapipelines och strukturerade supportstrategier för ett långsiktigt införande.
• Byggde en pipeline som aggregerar elförbrukning per timme i Python / SQL / Bash + Jq och nådde 180 ms för datamängder på 30 dagar från heterogena JSONL‑källor.
• Gjorde pipelinen för geodata 50 gånger snabbare genom bättre SQL‑programmering och datamodellering i PostgreSQL, MS SQL och Google Cloud BigQuery.
• Förbättrade prestandan i en kartapplikation för geodata 10 gånger genom en strategisk databasövergång från MSSQL till PostgreSQL, inklusive själva omställningen av data, och optimerade bearbetningen och datasäkerheten.
• Löste 1 000 problem i geodata och tidsseriedata med GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) och Bash, vilket säkrade en högkvalitativ bearbetning av stora datamängder.
• Utformade, implementerade och administrerade 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL och integrerade data för effektiv bearbetning i ett Python‑API.
• Levererade 8 Power BI‑projekt med utförliga handböcker och integrerade Microsoft Power BI‑verktygen med ett NodeJS‑API och Python FastAPI för effektiv dataanalys och visualisering.
• Utformade, byggde upp och förvaltade 100 datalagerdatabaser i PostgreSQL, MS SQL och Google BigQuery, främst med GIS- och tidsseriedata, och optimerade prestanda och skalbarhet.
• Gjorde PostgreSQL 10 gånger snabbare med strategisk indexering, partitionering och optimering av databasfrågor och effektiviserade databasen för användar- och tenantdata, geospatiala data och tidsseriedata om el.
• Automatiserade driftsättningen av en GIS‑applikation som SaaS, databearbetningen och rapporteringssystemet med GitHub Actions CI/CD, Python, Bash och SQL.
• Automatiserade leveransen av 20 GIS‑datapipelines och ETL‑processer för applikationsdata, vilket effektiviserade infrastrukturautomatiseringen och rapporteringen.
• Optimerade prognos- och investeringsstrategier för 11 elnätsföretag och drev på driftseffektiviteten med datadrivna GIS‑lösningar.
• Ledde utveckling, driftsättning och support av över 30 GIS‑projekt och visade expertis inom PostgreSQL, Bash, Python, JavaScript, GDAL, ArcGIS, PostGIS och Mapbox.
• Effektiviserade processerna för dataanalys och mjukvaruutveckling och sparade 4 000 timmar genom att införa CI/CD‑arbetssätt med GitHub, GitLab, Bash och Python.
• Utvecklade ett rapportsystem för dataanalys som ökade de kvartalsvisa mjukvaruintäkterna med 400 % genom Python‑baserade PDF‑rapporter.
• Automatiserade uppgifter inom databearbetning med Shell‑skript, PL/pgSQL, Python och Transact‑SQL och ökade produktiviteten och effektiviteten.
• Byggde 600 PL/pgSQL‑baserade ETL/ELT‑pipelines för att effektivisera komplexa arbetsflöden för databearbetning i flera utvecklings- och produktionsmiljöer för PostgreSQL.
• Utformade, utvecklade och implementerade infrastrukturen, databearbetningen och kartapplikationen och gav support för dem i 2 år i sträck utan en enda ledig helg, helgdag eller semester, 10–14 timmar om dagen.
• Införde tidsordnade UUID v7‑identifierare (PostgreSQL 18) som entitetsnycklar för att minska fragmenteringen i B‑trädindex och snabba upp databasfrågor.
• Modellerade sjöfartsdomänen i 348 normaliserade tabeller i 34 PostgreSQL‑scheman — yrkesverksamma, företag, fartyg, jobb, recensioner och resten — med SMALLINT‑uppslag och UUID v7‑nycklar.
• Byggde egen produktanalys i PostgreSQL — 47 funktioner över partitionerade händelsetabeller som rensar sig själva — pseudonymiserad bakom ett roterande salt och villkorad av besökarens samtycke.

Det här arbetet är en del av det vi erbjuder som Utveckling av datapipelines (ETL/ELT), GIS- och geodatalösningar, Dataanalys och BI‑dashboards, Optimering av databasprestanda, Datastyrning och datakvalitet, Databasdesign och datamodellering, Backend- och API‑utveckling och Databasadministration (DBA).

Håller du på med något som kräver det här? Hör av dig.