{"canonical_url":"https://engineer.company/da/glossary/chaos-engineering/","content_markdown":"# Chaos engineering\n\n## Hvad det er\n\nChaos engineering er praksissen med bevidst og under kontrol at påføre et\nkørende system de fejl, der også sker i virkeligheden, for at se, om det klarer\ndem. Principles of Chaos Engineering, det korte dokument, som de fleste i feltet\nhenviser til, beskriver det som »disciplinen at eksperimentere med et system for\nat opbygge tillid« til, at systemet kan modstå ustabile forhold i produktion. Det\nvigtige ord er eksperimentere. Et chaos-forsøg tjekker ikke en funktion op mod en\nspecifikation; det stiller systemet som helhed et spørgsmål og tager imod det\nsvar, der kommer.\n\nBegrundelsen tager udgangspunkt i distribuerede systemer. Hver enkelt tjeneste\nkan fungere korrekt, og alligevel kan samspillet mellem dem give resultater, som\ningen havde forudset, og sjældne hændelser som en server, der går ned, eller en\nnetværksforbindelse, der bliver skåret over, gør det værre. Principperne nævner de\nsvagheder, der gemmer sig her: forkerte reserveløsninger, når en tjeneste ikke\nsvarer, storme af genforsøg på grund af dårligt indstillede timeouts, nedbrud, når\nen tjeneste længere nede i kæden får mere trafik, end den kan klare, og\nat en fejl i én komponent får flere andre til at gå ned. Ingen af dem viser sig, når\nhver del testes for sig.\n\nEt forsøg har fire trin i principperne:\n\n1. Definér en stabil tilstand (steady state) som et målbart output fra systemet,\n   der viser normal adfærd, for eksempel gennemløb, fejlrate eller en\n   percentil for svartid.\n2. Opstil hypotesen, at den stabile tilstand fortsætter både i en kontrolgruppe\n   og i en forsøgsgruppe.\n3. Indfør variable, der afspejler virkelige hændelser: servere, der går ned,\n   diske, der svigter, netværksforbindelser, der bliver afbrudt.\n4. Forsøg at modbevise hypotesen ved at lede efter en forskel i den stabile\n   tilstand mellem de to grupper.\n\nJo sværere det er at forstyrre den stabile tilstand, jo mere tillid kan holdet\nhave til systemet. Falder hypotesen, har holdet fundet en svaghed, mens den\nstadig er lille, og mens folk holder øje, i stedet for under et nedbrud midt om\nnatten.\n\nDet mest kendte værktøj er Netflix' Chaos Monkey, der tilfældigt afslutter\nvirtuelle maskiner og containere i produktion. Projektets README kalder det et\neksempel på et værktøj, der følger principperne, og formålet er at få udviklere\ntil at bygge tjenester, der kan tåle, at en instans forsvinder.\n\n## Hvorfor det betyder noget\n\nRedundans, failover og reserveløsninger er alle sammen løfter om, hvad der sker,\nnår noget går i stykker, og et løfte, der aldrig er afprøvet, er en hypotese. En\nstandby-server, der aldrig har taget trafik, en politik for genforsøg, der aldrig\nhar mødt en langsom afhængighed, en alarm, der aldrig har lydt: hver af dem\nvirker måske, og den første rigtige fejl er en dyr måde at finde ud af det på.\nChaos engineering flytter opdagelsen til et tidspunkt, holdet selv vælger.\n\nDet tester også systemet frem for delene. Enhedstest og integrationstest\nkontrollerer adfærd, som nogen allerede har tænkt på. Principperne siger det\ndirekte: et chaos-forsøg efterviser, at systemet virker, og forsøger ikke at\nvalidere, hvordan det virker. Derfor ser det på det output, en bruger ville\nmærke, som fejlrate og svartid, og ikke på det indre af en enkelt komponent.\n\nBeviserne findes i produktion. Systemer opfører sig forskelligt alt efter miljø\nog trafikmønstre, og principperne fremhæver, at kun rigtig trafik giver et\npålideligt billede af, hvilken vej en forespørgsel tager. Googles bog om Site\nReliability Engineering når frem til det samme fra den anden side: syntetisk\nbelastning viser ikke nødvendigvis, hvor komponenterne reelt bryder sammen, så\nnår en tjeneste er beskyttet mod overbelastning, foreslår bogen fejltest i en\nlille del af produktionen, med ekstra kapacitet klar, hvis beskyttelsen ikke\nvirker, og nogen må skifte over manuelt.\n\nEndelig ændrer det incitamenterne. Chaos Monkeys README siger det ligeud: når\nudviklere oftere møder fejl, får de en grund til at bygge robuste tjenester. Et\nhold, hvis instanser kan blive afsluttet på en hvilken som helst arbejdsdag,\ndesigner efter det fra begyndelsen i stedet for at opdage hullet den dag, en\nmaskine dør uden varsel.\n\n## Sådan ser det ud i praksis\n\nEt chaos-forsøg skrives ned, før det køres, ligesom en testplan. Her er et for en\nopdigtet webbutik, hvor alle tal er opfundet til eksemplet:\n\n```text\nForsøg:          betalingsudbyderen bliver langsom\nStabil tilstand: andel gennemførte betalinger og p99-svartid, pr. 5 min\nHypotese:        med 300 ms ekstra på kald til betalingsudbyderen holder\n                 forsøgsgruppens gennemførelsesrate sig inden for 0,2\n                 procentpoint af kontrolgruppens\nGrupper:         2 % af betalingstrafikken i hver, tilfældigt fordelt\nVariabel:        300 ms forsinkelse i betalingsklienten, intet andet\nAfbryd hvis:     forskellen er over 1 procentpoint i 2 minutter i træk\nTidsrum:         30 min i arbejdstiden, vagthavende orienteret på forhånd\nResultat:        hypotesen modbevist; genforsøg tredoblede kaldene til\n                 udbyderen, og p99-svartiden passerede timeouten på 1 s\nOpfølgning:      et budget for genforsøg pr. forespørgsel; kør forsøget igen\n```\n\nEn modbevist hypotese er det nyttige udfald her. Svagheden bliver fundet på 2 %\naf trafikken i nogle få minutter, med en afbrydelsesbetingelse, der allerede er\naftalt, og opfølgningen er en teknisk ændring og ikke en undskyldning.\n\nSelve variablen påføres tit med helt almindelige værktøjer. På Linux efterligner\nkødisciplinen netem egenskaberne ved virkelige netværk, herunder forsinkelse,\ntab, duplikering og beskadigede pakker. For eksempel:\n\n```sh\n# forsøg 1: læg 100 ms forsinkelse på hver pakke, der sendes ud på eth0\ntc qdisc add dev eth0 root netem delay 100ms\ntc qdisc del dev eth0 root\n\n# forsøg 2: smid én pakke ud af tusind væk, tilfældigt\ntc qdisc add dev eth0 root netem loss 0.1%\ntc qdisc del dev eth0 root\n```\n\nLinjen med `del` er den vigtige, og den hører hjemme i et oprydningstrin, der\nkører, uanset om forsøget bestod, fejlede eller gik ned halvvejs. Netem tager\nogså et `seed`, så tilfældigt tab kan gentages, og manualen advarer om, at netem\nskal sidde på den modtagende værts indgående trafik, hvis resultater for\nTCP-ydelse skal være realistiske.\n\nPå niveauet med hele maskiner viser Chaos Monkey, hvordan forsigtige\nstandardværdier ser ud. Fra start er `enabled` falsk og `leashed` sand, hvilket\nbetyder, at afslutninger kun simuleres og logges. Når værktøjet slås til,\narbejder det med grupper af instanser (efter app, stack eller cluster) med en\ngennemsnitlig tid mellem afslutninger på to dage pr. gruppe og et minimum på én\ndag, kun på arbejdsdage og kun mellem kl. 9 og 15 i den konfigurerede tidszone.\nKonti, regioner og stacks kan undtages, og konfigurationen har en plads til en\noutage checker, der fortæller værktøjet, om der er et nedbrud i gang; de\nmedfølgende implementeringer af den gør ingenting, så det tjek må driften selv\nlevere. SRE-bogens liste over fejltest i produktion er lige så konkret: skær\nantallet af opgaver ned hurtigt eller langsomt, mist en hel klynges kapacitet på\nén gang, og lad backends sluge forespørgsler uden at svare, også de ikke-kritiske,\nhvis tavshed stadig kan få tjenesten, der kalder dem, til at gå i stå.\n\nHer på sitet har casen om\n[at bevise, at blokeringen virker ved hver kørsel](/da/portfolio/proved-the-intrusion-ban-works-every-run/),\nfra september 2026, ikke karakter af et chaos-forsøg i fuld forstand, men\nformen er den samme. Hver hærdningskørsel blokerer en adresse fra den blok,\nstandarderne reserverer til dokumentation, læser den resulterende regel\ntilbage fra kernen i stedet for at stole på tjenestens egen status og\nophæver blokeringen i en oprydningsblok, der kører, uanset om tjekket bestod\neller fejlede. Fordi testadressen ikke tilhører nogen, kan en efterladt\nblokering, der overlever en fejlet kørsel, ikke lukke et rigtigt netværk ude,\nog siden lægger ikke skjul på prisen: at skrive en regel i produktion ved\nhver kørsel er et reelt indgreb i et system i drift, accepteret, fordi\nalternativet allerede havde vist sig at være værre.\n[Implementeringen af sikkerhedskopiering og gendannelsestest](/da/portfolio/backups-that-have-actually-been-restored/)\nbruger samme idé på gendannelse i sit design: et månedligt workflow\ngendanner en kendt fil til et midlertidigt arbejdsområde og sammenligner\ndens bytes. Implementeringsbeskrivelsen dateret 2026-10-27 angiver, at\ntimerne var deaktiveret uden et konfigureret backuplager, og dokumenterer\ningen gennemført gendannelse i drift. Workflowet findes i kode; en\nvellykket gendannelsesøvelse er fortsat en særskilt leverance.\n\n## Hvor det går galt\n\n**At slå ting i stykker uden en hypotese.** At lukke en tilfældig server ned og\nse, hvad der sker, er en demonstration, ikke et forsøg. Skriv den stabile\ntilstand, hypotesen og afbrydelsesbetingelsen ned først. Kan holdet ikke se sin\nstabile tilstand på et dashboard i realtid, er det det første, der skal rettes,\nog forsøget kan vente.\n\n**At kigge på det indre i stedet for output.** CPU på én vært eller længden af én\nkø siger ikke meget om, hvorvidt brugerne mærkede noget. Principperne beder om\nmålbart output fra hele systemet, som gennemløb, fejlrater og percentiler for\nsvartid, fordi det er det, hypotesen handler om.\n\n**En ubegrænset skadesradius.** Principperne accepterer en vis kortvarig negativ\neffekt, men gør det til chaos-ingeniørens ansvar at holde følgerne små og\nafgrænsede. Begynd med én instans eller en lille procentdel af trafikken, hav en\nnødstop-knap, der virker uden det værktøj, der forårsagede skaden, og kør aldrig\net forsøg oven i en igangværende hændelse.\n\n**At blive i testmiljøet.** Et testmiljø er et fornuftigt første skridt og et\ndårligt sidste, fordi trafikken, data og naboerne ikke er produktionens. Gå\nvidere til en lille del af den rigtige trafik, når forsøget har kørt rent før\nproduktion, i stedet for at tage testmiljøets resultater som svaret.\n\n**At køre det én gang.** Et system, der klarede et forsøg i marts, er blevet\nændret mange gange siden. Principperne kalder manuelle forsøg arbejdskrævende og\ni sidste ende uholdbare og beder om forsøg, der er automatiseret til at køre\nløbende, så et tab af robusthed viser sig i den uge, det bliver indført.\n\n**Kun at slå maskiner ihjel.** Rene nedbrud er det lette tilfælde, fordi noget\nopdager dem. Principperne nævner også softwarefejl som forkert formede svar og\nhændelser, der ikke er fejl, som en trafikspids eller en skalering, og SRE-bogen\ntilføjer en backend, der tager imod forespørgsler og aldrig svarer, hvilket\nstadig kan skade tjenesten, der kalder den, når forespørgslerne har lange\ntidsfrister. Prioritér variablerne efter den sandsynlige effekt eller efter, hvor\ntit de sker.\n\n**Fund, der ikke fører nogen vegne.** En modbevist hypotese er en svaghed med et\nnavn. Giv den en ejer og en prioritet i samme sagssystem som alt andet, og kør\nforsøget igen, når rettelsen er ude, for at bekræfte, at den stabile tilstand nu\nholder.\n\n## Læs mere\n\n- [Principles of Chaos Engineering](https://principlesofchaos.org/) —\n  definitionen, de fire trin i et forsøg og de fem avancerede principper, senest\n  opdateret i marts 2019.\n- [Chaos Monkey](https://netflix.github.io/chaosmonkey/) — Netflix'\n  dokumentation for værktøjet, der afslutter instanser, og som kræver Spinnaker.\n- [Chaos Monkey: configuring behavior via Spinnaker](https://netflix.github.io/chaosmonkey/Configuring-behavior-via-Spinnaker/)\n  — hyppighed, gruppering og undtagelser med standardværdierne.\n- [Chaos Monkey: configuration file format](https://netflix.github.io/chaosmonkey/Configuration-file-format/)\n  — alle indstillinger og deres standardværdier, herunder `leashed` og tidsrummet\n  i arbejdstiden.\n- [Addressing Cascading Failures](https://sre.google/sre-book/addressing-cascading-failures/)\n  — kapitel 22 i Googles bog om Site Reliability Engineering, blandt andet om at\n  teste til grænsen og om fejltest i produktion.\n- [tc-netem(8)](https://man7.org/linux/man-pages/man8/tc-netem.8.html) —\n  Linux-manualsiden for netværksemulatoren, der bruges til at påføre forsinkelse,\n  tab og beskadigede pakker.\n\n\u003chttps://engineer.company/da/glossary/chaos-engineering/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Hvad chaos engineering er, hvordan et forsøg mod en stabil tilstand er bygget op, hvad værktøjer som Chaos Monkey og netem gør, og hvor det går galt.","formats":{"gemtext":"https://engineer.company/da/glossary/chaos-engineering/index.gmi","gopher":"https://engineer.company/da/glossary/chaos-engineering/gophermap","html":"https://engineer.company/da/glossary/chaos-engineering/","json":"https://engineer.company/da/glossary/chaos-engineering/index.json","markdown":"https://engineer.company/da/glossary/chaos-engineering/index.md","pdf":"https://engineer.company/da/glossary/chaos-engineering/index.pdf"},"kind":"page","language":"da","title":"Hvad er chaos engineering?","url":"https://engineer.company/da/glossary/chaos-engineering/","version":1}