Har automatiseret leveringen af 20 GIS‑pipelines

Situation. Platformen var afhængig af mange GIS‑datapipelines og ETL‑processer for applikationsdata, og de blev leveret og overvåget manuelt. Manuelt kørte pipelines skaber flaskehalse, de glider efterhånden ud af trit med hinanden, og værst af alt rummer de en konstant lille risiko for, at en af dem fejler i stilhed, uden at nogen opdager det, før dataene allerede er forkerte længere nede i kæden.

Opgave. Opgaven var at automatisere leveringen af de pipelines og ETL‑processer, så dataene flød pålideligt og forudsigeligt, uden at nogen skulle holde dem i hånden.

Handling. Tyve GIS‑datapipelines og ETL‑processerne for applikationsdata kom under automatiseret levering fra ende til anden. Planlægning, logning og fejlhåndtering blev standardiseret, så alle pipelines opførte sig ens, og — det afgørende — man kunne se det, når en af dem ikke gjorde. En stille fejl er kun stille, hvis intet holder øje. Alle pipelines blev også lagt ind i den eksisterende infrastrukturautomatisering og rapportering, så de indgik i ét sammenhængende system i stedet for at være en skuffe fuld af scripts, som nogen skulle huske at køre.

Resultat. Alle tyve pipelines og deres ETL kørte automatisk og forudsigeligt, og hele billedet af infrastrukturautomatisering og rapportering blev mere overskueligt. Forretningen fik pålidelige, aktuelle data, uden at nogen skulle føre dem igennem manuelt — og uden risikoen for stille fejl hængende over sig.