{"canonical_url":"https://engineer.company/nb/glossary/chaos-engineering/","content_markdown":"# Chaos engineering\n\n## Hva det er\n\nChaos engineering er praksisen med å føre feil fra virkeligheten inn i et system\ni drift, med vilje og under kontroll, for å finne ut om det tåler dem. Principles\nof Chaos Engineering, det korte dokumentet de fleste i fagmiljøet viser til,\ndefinerer det som «disiplinen å eksperimentere med et system for å bygge tillit»\ntil at systemet tåler urolige forhold i produksjon. Ordet som teller, er\neksperimentere. Et chaos-forsøk sjekker ikke en funksjon mot en spesifikasjon;\ndet stiller systemet som helhet et spørsmål og godtar det svaret som kommer.\n\nArgumentet for praksisen begynner med distribuerte systemer. Hver tjeneste i et\nslikt system kan virke som den skal, og samspillet mellom dem kan likevel gi\nutfall ingen hadde sett for seg, og sjeldne hendelser som en server som går ned\neller en nettverksforbindelse som blir brutt, gjør det verre. Principles lister\nopp hvilke svakheter som gjemmer seg der: reserveinnstillinger som er feil når\nen tjeneste ikke svarer, stormer av nye forsøk på grunn av dårlig innstilte\ntidsavbrudd, brudd når en avhengighet lenger ned i kjeden får mer trafikk enn\nden tåler, og at en feil i én komponent får flere andre til å svikte. Ingen av disse viser\nseg når hver del testes for seg.\n\nEt forsøk har fire trinn i Principles sin versjon:\n\n1. Definer stabil tilstand (steady state) som et målbart resultat fra systemet\n   som viser normal oppførsel, for eksempel gjennomstrømning, feilrate eller en\n   persentil for forsinkelse.\n2. Sett opp en hypotese om at den stabile tilstanden holder seg i både en\n   kontrollgruppe og en forsøksgruppe.\n3. Før inn variabler som speiler virkelige hendelser: servere som går ned,\n   disker som svikter, nettverksforbindelser som blir brutt.\n4. Prøv å motbevise hypotesen ved å lete etter en forskjell i stabil tilstand\n   mellom de to gruppene.\n\nJo vanskeligere den stabile tilstanden er å forstyrre, desto mer tillit kan\nteamet ha til systemet. Faller hypotesen, har teamet funnet en svakhet mens den\ner liten og mens folk følger med, og ikke midt i et nattlig driftsavbrudd.\n\nDet best kjente verktøyet er Netflix sin Chaos Monkey, som tilfeldig avslutter\nvirtuelle maskiner og containere i produksjon. README-en omtaler det som et\neksempel på et verktøy som følger Principles, og formålet er å få ingeniørene\ntil å bygge tjenester som tåler at enkeltinstanser forsvinner.\n\n## Hvorfor det er viktig\n\nRedundans, failover og reserveløsninger er alle løfter om hva som skjer når noe\ngår i stykker, og et løfte som aldri er prøvd, er en hypotese. En standby-server\nsom aldri har tatt trafikk, en regel for nye forsøk som aldri har møtt en treg\navhengighet, en alarm som aldri har gått: hver av dem virker kanskje, og den\nførste virkelige feilen er en dyr måte å finne det ut på. Chaos engineering\nflytter oppdagelsen til et tidspunkt teamet selv velger.\n\nDet tester også systemet og ikke delene. Enhetstester og integrasjonstester\nsjekker oppførsel noen allerede har tenkt på. Principles trekker skillet rett\nut: chaos-forsøk bekrefter at systemet faktisk virker, i stedet for å prøve å\ngodtgjøre hvordan det virker. Derfor ser de på det en bruker ville merke, som\nfeilrate og forsinkelse, og ikke på det indre i én enkelt komponent.\n\nBevisene ligger i produksjon. Systemer oppfører seg ulikt avhengig av miljø og\ntrafikkmønster, og Principles hevder at bare utvalg av ekte trafikk pålitelig\nfanger veien en forespørsel tar. Googles bok om Site Reliability Engineering\nkommer til samme konklusjon fra motsatt kant: syntetisk last viser ikke alltid\nhvor komponentene virkelig ryker, så når en tjeneste først har vern mot\noverbelastning, foreslår boken feiltester i en liten del av produksjonen, med\nekstra kapasitet klar i tilfelle vernet ikke virker og noen må bytte over for\nhånd.\n\nTil slutt endrer det insentivene. Chaos Monkey sin README sier det rett ut: når\ningeniører møter feil oftere, får de en grunn til å bygge robuste tjenester. Et\nteam der instanser kan bli avsluttet hvilken som helst arbeidsdag, planlegger\nfor det fra starten av, i stedet for å oppdage hullet den dagen en maskin\nforsvinner uten forvarsel.\n\n## Slik ser det ut i praksis\n\nEt chaos-forsøk skrives ned før det kjøres, omtrent som en testplan. Her er ett\nfor en oppdiktet nettbutikk, der alle tall er laget for eksemplets skyld:\n\n```text\nForsøk:          betalingsleverandøren blir treg\nStabil tilstand: andel vellykkede kjøp og p99 for kassen, per 5 min\nHypotese:        med 300 ms ekstra på kall til betalingsleverandøren\n                 avviker forsøksgruppens andel vellykkede kjøp\n                 høyst 0,2 prosentpoeng fra kontrollgruppens\nGrupper:         2 % av trafikken til kassen i hver, tilfeldig fordelt\nVariabel:        300 ms forsinkelse i betalingsklienten, ikke noe annet\nAvbryt hvis:     avvik over 1 prosentpoeng i 2 minutter på rad\nVindu:           30 min i arbeidstiden, vakthavende varslet på forhånd\nResultat:        hypotesen motbevist; nye forsøk tredoblet kallene til\n                 leverandøren, og p99 gikk over tidsavbruddet på 1 s\nOppfølging:      et budsjett for nye forsøk per forespørsel; kjør igjen\n```\n\nDen motbeviste hypotesen er det nyttige utfallet her. Svakheten blir funnet på\n2 % av trafikken i noen få minutter, med en avbruddsbetingelse som er avtalt på\nforhånd, og oppfølgingen er en teknisk endring i stedet for en unnskyldning.\n\nSelve variabelen føres ofte inn med helt vanlige verktøy. På Linux etterligner\nnettverksemulatoren netem, som settes opp med tc, egenskapene til virkelige\nnettverk, blant annet forsinkelse, tap, duplisering og korrupsjon. For eksempel:\n\n```sh\n# forsøk 1: legg 100 ms forsinkelse på hver pakke som går ut av eth0\ntc qdisc add dev eth0 root netem delay 100ms\ntc qdisc del dev eth0 root\n\n# forsøk 2: kast tilfeldig én av tusen pakker\ntc qdisc add dev eth0 root netem loss 0.1%\ntc qdisc del dev eth0 root\n```\n\nLinjen med `del` er den viktigste, og den hører hjemme i et oppryddingstrinn som\nkjører enten forsøket besto, feilet eller krasjet halvveis. Netem tar også en\n`seed`, slik at tilfeldig tap kan gjentas, og manualsiden advarer om at netem må\nligge på inngangen til mottakerverten hvis måleresultater for TCP-ytelse skal\nbli realistiske.\n\nPå nivået med hele maskiner viser Chaos Monkey hvordan forsiktige\nstandardverdier ser ut. Rett etter installasjon er `enabled` false og `leashed`\ntrue, som betyr at avslutninger bare blir simulert og logget. Når verktøyet slås\npå, arbeider det med grupper av instanser (etter app, stack eller cluster), med\nen gjennomsnittlig tid mellom avslutninger på to dager per gruppe og et minimum\npå én dag, bare på arbeidsdager og bare mellom kl. 9 og 15 i den konfigurerte\ntidssonen. Kontoer, regioner og stacks kan unntas, og konfigurasjonen har en\nplass til en outage checker som forteller verktøyet om et driftsavbrudd pågår;\nimplementeringene som følger med, gjør ingenting, så den sjekken må driften selv\nlevere. SRE-bokens liste over feiltester i produksjon er like konkret: skru ned\nantallet oppgaver raskt eller sakte, mist en hel klynges kapasitet på én gang,\nog la backends svelge forespørsler uten å svare, også de ikke-kritiske, der\ntausheten likevel kan få tjenesten som kaller dem, til å stoppe opp.\n\nPå dette nettstedet er prosjektgjennomgangen om hvordan det ble [bevist at utestengingen virker ved hver kjøring](/nb/portfolio/proved-the-intrusion-ban-works-every-run/), fra september 2026, ikke et kaoseksperiment i full forstand, men den har samme form. Hver herdingskjøring blokkerer en adresse fra blokken standardene reserverer for dokumentasjon, leser den resulterende regelen tilbake fra kjernen i stedet for å stole på tjenestens egen status og opphever blokkeringen i en oppryddingsblokk som kjøres enten sjekken besto eller feilet. Fordi testadressen ikke tilhører noen, kan en utilsiktet blokkering som overlever en mislykket kjøring, ikke stenge ute et virkelig nettverk. Siden er åpen om kostnaden: å skrive en regel i produksjon ved hver kjøring er et reelt inngrep i et system i drift, akseptert fordi alternativet allerede hadde vist seg å være verre. [Implementeringen av sikkerhetskopiering og gjenopprettingstester](/nb/portfolio/backups-that-have-actually-been-restored/) bruker denne tanken på gjenoppretting i løsningsutformingen: en månedlig arbeidsflyt gjenoppretter en kjent fil til et midlertidig arbeidsområde og sammenligner bytene. Implementeringsdokumentasjonen datert 2026-10-27 sier at timerne var deaktivert uten et konfigurert sikkerhetskopirepo, og dokumenterer ingen fullført gjenoppretting i drift. Arbeidsflyten finnes i kode; en vellykket gjenopprettingsøvelse er fortsatt en separat leveranse.\n\n## Hvor det går galt\n\n**Å ødelegge uten en hypotese.** Å slå av en tilfeldig server og se hva som\nskjer, er en demonstrasjon og ikke et forsøk. Skriv ned stabil tilstand,\nhypotese og avbruddsbetingelse først. Kan ikke teamet se sin stabile tilstand på\net dashbord i sanntid, er det det første som må rettes, og forsøket får vente.\n\n**Å se på det indre i stedet for resultatet.** CPU-bruk på én vert eller lengden\npå én kø sier lite om brukerne merket noe. Principles ber om målbare resultater\nfra hele systemet, som gjennomstrømning, feilrater og persentiler for\nforsinkelse, fordi det er det hypotesen handler om.\n\n**En ubegrenset skaderadius.** Principles godtar en viss kortvarig negativ\nvirkning, men gjør det til ingeniørens ansvar å holde følgene små og avgrensede.\nBegynn med én instans eller en liten prosentdel av trafikken, ha en nødstopp som\nvirker uten verktøyet som gjorde skaden, og kjør aldri et forsøk oppå en hendelse\nsom allerede pågår.\n\n**Å aldri komme ut av staging.** Et testmiljø er et fornuftig første steg og et\ndårlig siste, fordi trafikken, dataene og naboene der ikke er produksjonens. Gå\nover til en liten del av ekte trafikk når forsøket har kjørt rent før\nproduksjon, i stedet for å behandle resultatene fra staging som svaret.\n\n**Å kjøre det én gang.** Et system som klarte seg gjennom et forsøk i mars, er\nendret mange ganger siden. Principles kaller manuelle forsøk arbeidskrevende og\ntil syvende og sist uholdbare, og ber om forsøk som er automatisert til å kjøre\nløpende, slik at tap av robusthet viser seg den uka det blir innført.\n\n**Bare å drepe maskiner.** Rene krasj er det enkle tilfellet, fordi noe legger\nmerke til dem. Principles nevner også svikt i programvaren, som feilformede\nsvar, og hendelser som ikke er feil, som en trafikktopp eller en skalering, og\nSRE-boken legger til en backend som tar imot forespørsler og aldri svarer, noe\nsom fortsatt kan skade tjenesten som kaller den, når forespørslene har lange\ntidsfrister. Prioriter variablene etter sannsynlig virkning eller etter hvor\nofte de skjer.\n\n**Funn som ikke fører noe sted.** En motbevist hypotese er en svakhet med navn.\nGi den en eier og en prioritet i det samme saksverktøyet som alt annet, og kjør\nforsøket på nytt når rettelsen er ute, for å bekrefte at den stabile tilstanden\nnå holder.\n\n## Les mer\n\n- [Principles of Chaos Engineering](https://principlesofchaos.org/) —\n  definisjonen, de fire trinnene i et forsøk og de fem avanserte prinsippene,\n  sist oppdatert i mars 2019.\n- [Chaos Monkey](https://netflix.github.io/chaosmonkey/) — Netflix sin\n  dokumentasjon for verktøyet som avslutter instanser, og som krever Spinnaker.\n- [Chaos Monkey: configuring behavior via Spinnaker](https://netflix.github.io/chaosmonkey/Configuring-behavior-via-Spinnaker/)\n  — hvor ofte instanser avsluttes, gruppering og unntak, med standardverdiene.\n- [Chaos Monkey: configuration file format](https://netflix.github.io/chaosmonkey/Configuration-file-format/)\n  — alle innstillinger og standardverdiene deres, blant annet `leashed` og\n  vinduet for arbeidstid.\n- [Addressing Cascading Failures](https://sre.google/sre-book/addressing-cascading-failures/)\n  — kapittel 22 i Googles bok om Site Reliability Engineering, blant annet om\n  testing til noe ryker og om feiltester i produksjon.\n- [tc-netem(8)](https://man7.org/linux/man-pages/man8/tc-netem.8.html) —\n  Linux-manualsiden for nettverksemulatoren som brukes til å føre inn\n  forsinkelse, tap og korrupsjon.\n\n\u003chttps://engineer.company/nb/glossary/chaos-engineering/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Hva chaos engineering er, hvordan et forsøk mot en stabil tilstand er bygd opp, hva verktøy som Chaos Monkey og netem gjør, og hvor praksisen går galt.","formats":{"gemtext":"https://engineer.company/nb/glossary/chaos-engineering/index.gmi","gopher":"https://engineer.company/nb/glossary/chaos-engineering/gophermap","html":"https://engineer.company/nb/glossary/chaos-engineering/","json":"https://engineer.company/nb/glossary/chaos-engineering/index.json","markdown":"https://engineer.company/nb/glossary/chaos-engineering/index.md","pdf":"https://engineer.company/nb/glossary/chaos-engineering/index.pdf"},"kind":"page","language":"nb","title":"Hva er chaos engineering?","url":"https://engineer.company/nb/glossary/chaos-engineering/","version":1}