Har bygget egen fejlovervågning og tracing

Situation. Forskellen på en platform, der er oppe, og en platform, der virker, er, om nogen overhovedet ville opdage det. En fejl, en bruger rammer klokken elleve om aftenen, på en side, som ingen tester, er usynlig, medmindre noget går ud og samler den op. Det sædvanlige svar er at købe en hostet error tracker, og det er et godt svar — men det betyder også, at platformens egne fejl, stack traces og brugerkontekst ender hos en tredjepart.

Opgave. Fejl og traces skulle samles, grupperes og gøres til noget, man kunne handle på, uden at platformens indre forlod platformen.

Handling. Der blev bygget to dele. OpenTelemetry står for tracing over OTLP, så en langsom request kan følges på tværs af frontenden, API’et og databasen, i stedet for at man skal gætte. Ved siden af ligger en hjemmebygget fejlpipeline — en errmon‑service og en ingest‑service — der renser payloads før lagring, grupperer fejl i tilbagevendende problemer og ikke i en flad liste, opdager spikes og regressioner med en cooldown, så én dårlig udrulning ikke kalder nogen ud fyrre gange, oversætter minificerede frontend‑stack traces tilbage til læsbar kode og kører et syntetisk heartbeat for at bevise, at selve pipelinen er i live. Det hele lander i databasen som error events, error groups, en inbox, API‑latens og stack‑samples, og det kommer frem gennem 11 operatørvisninger, heriblandt én til service level objectives.

Resultat. Fejl bliver til en liste, nogen kan arbejde sig igennem, og en regression melder sig selv i stedet for at blive opdaget af en bruger. At bygge selv i stedet for at købe kostede reel tid og betyder, at det er én ting mere at vedligeholde — en købt tracker ville have kørt samme eftermiddag. Gevinsten var, at intet følsomt forlader platformen, og at alarmreglerne passer til netop denne platform og ikke til en generisk.