Har løst 1.000 problemer i geografiske data
Har løst 1.000 problemer i geografiske data og tidsseriedata ved hjælp af GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) og Bash, hvilket har sikret behandling af big data i høj kvalitet.
Arbejdet udført: 2022 – 2024

Foto: Jade87 / Pixabay 
Foto: Ylanite / Pixabay
1,000 sager lukket i geografiske data og tidsseriedata
Situation. Under arbejdet på et stort geospatialt analyseprojekt stødte teamet på talrige uoverensstemmelser og anomalier i de geografiske datasæt og i tidsseriedataene. Problemerne gik ud over nøjagtigheden af de spatiale analyser og beslutningsværktøjer, som blev brugt i flere afdelinger.
Opgave. Ansvaret omfattede at identificere, løse og optimere over 1.000 datakvalitetsproblemer i de komplekse datasæt for at sikre integriteten og ydeevnen i de applikationer og visualiseringer, der byggede videre på dataene.
Handling. Spatiale fejl blev systematisk diagnosticeret og rettet med en kombination af værktøjer, herunder GDAL, QGIS og ArcGIS, og tilbagevendende datarensningsopgaver blev strømlinet med automatiserede arbejdsgange i Bash‑scripts. PostGIS håndterede avancerede spatiale forespørgsler og spatial indeksering, og der blev skrevet robuste procedurer i PL/pgSQL og Transact‑SQL, som håndterede og transformerede både geografiske og tidsmæssige data i PostgreSQL- og SQL Server‑databaserne. Derudover blev de rensede data integreret i interaktive visualiseringer med Mapbox, så slutbrugerne fik lettere adgang til dem.
Resultat. Over 1.000 kritiske problemer blev løst, og datanøjagtigheden og behandlingshastigheden blev markant bedre. Det bidrog direkte til, at køretiden for spatiale forespørgsler faldt med 35 %, og gjorde teamets spatiale analyser mere pålidelige. Arbejdet sikrede, at der konsekvent var data af høj kvalitet klar til brug i analyser og rapportering, til støtte for strategiske beslutninger i hele organisationen.
Se tilbage på Har forbedret GIS‑kortydeevne 10x med PostgreSQL. Læs videre: Har designet og drevet 6 ETL/ELT‑pipelines. Eller tag et kig på hele porteføljen.
Ét stykke af en længere fortegnelse — og det hele ligger her på sitet.
Hver post er skrevet på samme måde: situationen, opgaven, hvad vi gjorde, og hvad der ændrede sig.

