Automatiserte leveransen av 20 GIS‑datapipelines og ETL‑prosesser for applikasjonsdata, og effektiviserte infrastrukturautomatisering og rapportering.
Arbeidet utført: 2022 – 2024
20 GIS‑pipelines levert uten menneskelig inngripen
Situasjon. Plattformen kjørte på mange GIS‑datapipelines og ETL‑prosesser for applikasjonsdata, og de ble levert og fulgt opp manuelt. Manuelt kjørte pipelines skaper flaskehalser, de mister konsistensen over tid, og verst av alt bærer de med seg en konstant, lav risiko for at én av dem feiler i det stille uten at noen merker det før dataene allerede er feil lenger ned i kjeden.
Oppgave. Oppgaven var å automatisere leveransen av disse pipelinene og ETL‑prosessene — slik at dataene fløt pålitelig og forutsigbart uten at noen måtte gjete dem.
Handling. Tjue GIS‑datapipelines og ETL‑en for applikasjonsdata ble lagt under automatisert leveranse, fra ende til ende. Planleggingen, loggingen og feilhåndteringen ble standardisert, slik at alle pipelines oppførte seg likt og, ikke minst, slik at du kunne se når én ikke gjorde det — en stille feil er bare stille hvis ingenting følger med. Og de ble innlemmet i den eksisterende infrastrukturautomatiseringen og rapporteringen, slik at de ble en del av ett sammenhengende system i stedet for en skuff full av skript som noen måtte huske å kjøre.
Resultat. Alle tjue pipelinene og ETL‑prosessene deres kjørte automatisk og forutsigbart, og hele bildet av infrastrukturautomatisering og rapportering ble ryddigere som følge av det. Virksomheten fikk pålitelige, oppdaterte data uten at noen måtte lose dem gjennom manuelt — og uten at risikoen for stille feil hang over den.
Se tilbake på Automatiserte produksjonssettingen, databehandlingen og rapporteringssystemet for en GIS SaaS‑applikasjon med GitHub Actions CI/CD, Python, Bash og SQL. Les videre: Automatiserte 100 kritiske sikkerhetskopier av data med Barman, Google Cloud, Bash og Python, og sikret dataintegriteten på tvers av databasene. Eller ta en titt på hele porteføljen.
Ett stykke av en lengre oversikt — og den ligger i sin helhet her.
Hver oppføring er skrevet på samme måte: situasjonen, oppgaven, hva vi gjorde, og hva som endret seg.