# Har gjort geodatapipelines 50 gange hurtigere

Har gjort geografiske datapipelines 50 gange hurtigere ved at forbedre SQL‑programmeringen og datamodelleringen i PostgreSQL, MS SQL og Google Cloud BigQuery.

2022 – 2024

**Situation.** Organisationen oplevede betydelige forsinkelser i behandlingen af store mængder geografiske data, og det gik ud over effektiviteten i de datadrevne beslutningsprocesser og den analytiske rapportering.

**Opgave.** Målet var at optimere pipelinen for geografiske data, så ydeevnen blev bedre og behandlingstiden kortere, og dataanalyserne kunne udføres mere effektivt og i realtid.

**Handling.** Den eksisterende SQL‑programmering og de eksisterende datamodeller i PostgreSQL, MS SQL og Google Cloud BigQuery blev analyseret minutiøst. Analysen afdækkede flaskehalse, der skyldtes ineffektive indekseringsstrategier, uhensigtsmæssigt opbyggede forespørgsler og mangel på passende constraints. Problemerne blev afhjulpet med følgende tiltag:
- Datamodellerne blev redesignet, så kritiske datasæt blev normaliseret, og der blev indført partitioneringsstrategier for at gøre datahentningen hurtigere.
- Der blev anvendt avancerede indekseringsteknikker, herunder B‑tree- og GiST‑indeks i PostgreSQL, filtrerede indeks i MS SQL og clustering i BigQuery.
- Komplekse SQL‑forespørgsler blev optimeret ved at omskrive subqueries, skære ned på antallet af joins og tage materialiserede views i brug, hvor det var relevant.
- Der blev indført integritetsregler som foreign keys og check‑constraints, så dataene forblev konsistente, uden at det gik ud over ydeevnen.

**Resultat.** De omfattende optimeringer gjorde pipelinen for geografiske data 50 gange hurtigere og forkortede databehandlingstiden markant. Forbedringen gjorde realtidsanalyser mulige, styrkede rapporteringen og gav interessenterne rettidig, datadrevet indsigt, som i sidste ende bidrog til bedre underbyggede strategiske beslutninger.

---

- Rolle: Dataingeniør
- Kategorier: [Databaser](https://engineer.company/da/categories/databases/), [PostgreSQL](https://engineer.company/da/categories/postgresql/), [SQL](https://engineer.company/da/categories/sql/), [Data warehousing](https://engineer.company/da/categories/data-warehousing/), [Data engineering](https://engineer.company/da/categories/data-engineering/), [Datapipelines (ETL/ELT)](https://engineer.company/da/categories/data-pipelines/), [Data governance](https://engineer.company/da/categories/data-governance/), [Optimering af ydeevne](https://engineer.company/da/categories/performance/), [GIS / geodata](https://engineer.company/da/categories/gis/)
- Ydelser: [GIS & geospatiale løsninger](https://engineer.company/da/services/gis-geospatial/), [Databaseoptimering](https://engineer.company/da/services/database-performance/), [Udvikling af datapipelines (ETL/ELT)](https://engineer.company/da/services/data-pipeline-development/), [Design af data warehouse](https://engineer.company/da/services/data-warehousing/)

<https://engineer.company/da/portfolio/made-a-geographical-data-pipeline-50x-faster/>
