Postmortem

Hva det er

En postmortem er den skriftlige gjennomgangen et team lager når en
driftshendelse er over: hva som skjedde, hva det kostet, hva som ble
gjort for å stoppe det, hvorfor det skjedde, og hva som skal endres
slik at det ikke skjer på samme måte igjen. Ordet skrives også
post-mortem med bindestrek, og mange norske team bruker det engelske
uttrykket som det er. Googles bok Site Reliability Engineering
definerer det nettopp slik: en skriftlig redegjørelse for hendelsen,
konsekvensene, tiltakene som dempet eller løste den, de
underliggende årsakene og oppfølgingstiltakene som skal hindre at
den gjentar seg.

Boken gir øvelsen tre mål: å dokumentere hendelsen, å forstå alle
årsakene som bidro til den og ikke bare den første man fant, og å få
på plass forebyggende tiltak som faktisk virker. Flertallsformen er
viktig. I systemer uansett størrelse har en hendelse sjelden én
årsak, og en gjennomgang som stopper ved den første plausible
forklaringen, ender gjerne med å rette utløseren og la forholdene
som lot utløseren gjøre skade, stå urørt.

Det som skiller praksisen fra en vanlig rapport, er at den er
skyldfri, på engelsk blameless. En skyldfri postmortem leter etter
bidragende årsaker uten å beskylde noen person eller noe team for
dårlig oppførsel, og den går ut fra at alle involverte handlet i god
tro og tok beslutninger ut fra informasjonen de hadde der og da.
SRE-boken fører tanken tilbake til helsevesenet og luftfarten, der
en feil kan koste liv, og der hver feil ses som en sjanse til å
gjøre systemet sterkere. Begrunnelsen er praktisk snarere enn snill:
et menneske kan man ikke rette med en kodeendring, men et system
eller en prosess kan man.

Man skriver ikke en postmortem for hver lille hikke, for den koster
tid. Boken nevner de vanlige utløserne, og hvert team justerer
tersklene etter seg:

  * nedetid eller redusert tjeneste som brukerne merker, ut over en
avtalt grense;

  * datatap av noe slag;

  * at vakthavende måtte gripe inn, for eksempel ved å rulle tilbake
en release eller omdirigere trafikk;

  * en løsningstid over en avtalt grense;

  * svikt i overvåkingen, noe som vanligvis betyr at et menneske
oppdaget problemet først.

Kriteriene avtales før noe går i stykker, slik at ingen må diskutere
midt i et utfall om akkurat dette teller, og enhver interessent kan
be om en postmortem også når en hendelse faller utenfor dem.

Hvorfor det er viktig

En driftshendelse som blir rettet, men aldri skrevet ned, kommer
lett tilbake. SRE Workbook går gjennom en postmortem som ble
publisert fire måneder etter hendelsen; i mellomtiden gjentok den
samme hendelsen seg, og teamet måtte nøste opp igjen det det hadde
lært første gang. En gjennomgang som skrives raskt og ligger der
folk finner den, gjør ett teams dårlige ettermiddag til kunnskap
hele organisasjonen kan bruke.

Dokumentet tvinger også fram oppfølgingen. Ben Treynor Sloss, sitert
i Workbook, sier det rett ut: for brukerne er en postmortem uten
påfølgende handling ikke til å skille fra ingen postmortem i det
hele tatt. Derfor krever Google at hver postmortem etter et utfall
som rammet brukerne, har minst én oppfølgingssak på en av de to
høyeste prioritetene. Postmortemen er stedet der argumentet for det
arbeidet føres med dokumentasjon, og der man senere kan se om det
ble gjort.

Skyldfriheten er det som gjør dokumentasjonen troverdig. Der folk
blir hengt ut for feil, slutter de å fortelle om problemer, skriver
SRE-boken, og Workbook legger til at de kan skjule nettopp de
faktaene som trengs for å hindre en gjentakelse. En skyldfri kultur
får med hele tidslinjen, også kommandoen noen kjørte ved en feil,
fordi ingen straffes for å fortelle om den. Boken går et skritt
videre: et team eller en person som skriver mange postmortemer, skal
ikke behandles som et problem, for alternativet er hendelser ingen
skriver om.

Samlet blir postmortemene et datasett. Når hver av dem har de samme
metadataene, kan en organisasjon følge utviklingen i tid til
oppdagelse, tid til løsning og hvor langt en hendelse spredte seg,
og se om pålitelighetsarbeidet lønner seg. De samme dokumentene
brukes i opplæringen: Google spiller gjennom gamle postmortemer som
rollespill for nye ingeniører og har lesesirkler og et nyhetsbrev
med månedens postmortem.

Slik ser det ut i praksis

SRE-boken har et komplett eksempel i vedlegg D, skrevet for en
fiktiv søketjeneste som var nede i 66 minutter under en plutselig
trafikkbølge. Seksjonene er et godt utgangspunkt: status,
sammendrag, konsekvenser, rotårsaker, utløser, løsning, oppdagelse,
oppfølging, lærdommer (hva gikk bra, hva gikk galt, hvor var vi
heldige) og en tidslinje i UTC. Tidslinjen markerer fire øyeblikk
hver for seg: når utfallet begynte, når hendelsen ble erklært, når
utfallet tok slutt, og når hendelsen formelt ble lukket. Det er
ulike tidspunkter, og det er i mellomrommene mellom dem at
lærdommene som regel ligger.

Her er en postmortem i den formen for en oppdiktet hendelse, kortet
ned til det som får plass på én skjerm:

```text
Postmortem: betalingsfeil etter endret timeout
Status:       endelig, gjennomgått
Eier:         vakthavende ingeniør, sammen med hendelseslederen
Sammendrag:   betaling feilet for rundt hver tredje forespørsel i 31 min
Konsekvens:   rundt 4 100 mislykkede betalinger, ingen data tapt;
              feilbudsjettet for 28 dager brukt på én kveld
Rotårsaker:   timeout mot betalingsleverandøren senket fra 10 s til 1 s
              i en endring som ble gjennomgått som «bare konfig»;
              ingenting prøvde den under topplast før release
Utløser:      kveldens topplast gjorde leverandøren tregere enn 1 s
Oppdagelse:   varsel på feilrate kalte ut vakten 6 min etter første feil
Løsning:      endringen rullet tilbake; feilene stoppet 4 min senere

Oppfølging
  Type        Prio  Eier            Ferdig når
  forebygg    P1    plattformleder  konfig-endringer kjører lasttest
  oppdag      P1    vaktansvarlig   varsel ved timeout mot betaling
  demp        P2    betalingsleder  tilbakerulling av konfig er ett steg
  prosess     P2    hendelsesleder  konfig-endringer står i deploy-loggen

Lærdommer
  Gikk bra:     tilbakerullingen virket på første forsøk
  Gikk galt:    en timeout-endring ble ikke behandlet som kode
  Var heldige:  toppen var kort; en salgsdag ville gitt tre ganger så mye

Tidslinje (UTC)
  18:02  endringen merget og rullet ut
  18:40  topplast; første mislykkede betalinger       utfall begynner
  18:46  varsel på feilrate kaller ut vakten
  18:52  hendelse erklært, hendelsesleder utpekt      hendelse begynner
  19:07  timeout-endringen funnet, tilbakerulling startet
  19:11  feilene stopper                              utfall slutter
  19:41  tretti minutter med normal feilrate          hendelse slutter
```

Legg merke til hva som mangler: ingen navn under årsakene og ingen
oppfølging som ber noen være mer forsiktig. Hvert punkt har én eier,
en prioritet og en sluttilstand som en annen kan etterprøve.
Mesteparten av råmaterialet trenger heller ikke skrives etter
hukommelsen. SRE-bokens kapittel om håndtering av hendelser lar
hendelseslederen føre et levende dokument mens hendelsen pågår, og
ber om at det tas vare på til postmortemen, og Workbook beskriver
verktøy som fyller ut roller, tidslinje og berørte tjenester av seg
selv.

På dette nettstedet har dokumentasjonen av hendelsen med
hendelsesbuffere i en macOS-app, fra september 2026, mye av
strukturen til en postmortem. Den skiller diagnoserapporter som
viste 111 GB komprimerte sider på en maskin med 36 GB, fra en
separat stikkprøvemåling av minnebruken som viste en vekst på
omtrent 41 MB per sekund. Den identifiserer en ubegrenset hovedstrøm
for hendelser og logghendelser som ble kopiert til abonnenter som
ikke brukte dem, og setter deretter grenser for buffere, filtrerer
abonnementer etter hendelsestype og gir loggingen et
frekvensbudsjett. En sammenligning av fullstendige testkjøringer
dokumenterer at antallet core-logglinjer falt fra 610 996 til 1 411.
Arkitektursjekker og budsjettester verner om utformingen, mens
fremstillingen oppgir hva dokumentasjonen ikke fastslår: en målt
verdi for minnebruk etter rettingen eller en ytelsesmåling i
produksjon. Separate tidsavbrudd ved avslutning krevde en egen
retting, og budsjettet tillater med vilje at gjentatte
diagnosehendelser forkastes. Beskrivelsen av tre låser på døren,
ingen av dem låst gjelder en gjennomgang og ikke et driftsavbrudd,
men slutter der en god postmortem bør: de tre rettelsene var små, og
arbeidet resulterte i to regler som nå styrer repoet, slik at hele
feilklassen fanges opp i stedet for bare de tre tilfellene.

Hvor det går galt

Dokumentet peker ut en syndebukk. En postmortem som sier at én
person alene hadde ansvaret, eller som snakker om «skjødesløs
uvitenhet», lærer alle andre å tie neste gang. Skriv om hva som
skjedde og hva personen visste der og da, ikke om hvem vedkommende
er, og hold språket nøkternt; Workbook peker på dramatiske
formuleringer og utropstegn som noe som trekker oppmerksomheten bort
fra fakta.

Oppfølgingen ber mennesker skjerpe seg. «Vær mer forsiktig» og
«forbedre driftshåndboken» kan aldri lukkes, og det er mindre
pålitelig å endre atferd enn å endre systemet. Gi hvert punkt en
type (forebygg, demp, oppdag), én eier, en prioritet og en
sluttilstand som kan etterprøves, for eksempel et varsel som utløses
når en bestemt terskel overskrides, og opprett en sak for hvert
punkt i systemet teamet allerede følger med på.

Rotårsaken stopper ved utløseren. «En konfigurasjonsendring
forårsaket utfallet» navngir utløseren. Rotårsakene er hvorfor
endringen kunne gjøre så mye skade: hvorfor gjennomgangen ikke
fanget den, hvorfor ingen test oppdaget den, hvorfor varselet kom
sent. Hold de to overskriftene adskilt, slik eksempelet i SRE-boken
gjør.

Konsekvensen er et skuldertrekk. Hvis varigheten er det eneste
tallet i dokumentet, kan ingen se om rettelsen virket. Anslå berørte
brukere, tapte forespørsler og forbrukt feilbudsjett; Workbook råder
til at et velfundert anslag er bedre enn ingen data i det hele tatt.

Fire personer eier den, så ingen gjør det. En postmortem trenger én
eier som er det faste kontaktpunktet både for skrivingen og for
oppfølgingen, med andre som hjelpere. Det samme gjelder hvert enkelt
oppfølgingspunkt.

Den skrives for sent eller leses av ingen. Hukommelsen svekkes i
løpet av dager, og et dokument som sendes rundt måneder senere,
kommer etter neste gjentakelse. Workbooks gode eksempel ble sendt ut
mindre enn en uke etter at hendelsen var lukket, og til en bred
krets. Og gå gjennom den: «En postmortem som ikke er gjennomgått,
kunne like gjerne aldri ha eksistert», som SRE-boken skriver. Hold
faste gjennomgangsmøter, og legg deretter resultatet i et arkiv det
går an å søke i.

Oppfølgingen blir aldri lukket. Når den samme hendelsen kommer igjen
og igjen, sjekk om oppfølgingspunktene tar for lang tid, og om nye
funksjoner hele tiden vinner over rettelsene. Mål avslutning, ikke
forfatterskap: Google holder FixIt-uker to ganger i året og belønner
ingeniørene som lukker flest oppfølgingspunkter fra postmortemer.

Les mer

  * Postmortem Culture: Learning from Failure — kapittel 15 i
Googles bok Site Reliability Engineering: utløsere, skyldfrihet,
gjennomgang og kulturen rundt det hele.

  * Postmortem Culture: Learning from Failure — SRE Workbooks
kapittel med en dårlig og en god postmortem av den samme hendelsen
og begrunnelsen for hvorfor de er som de er.

  * Example Postmortem — en komplett postmortem for et fiktivt
utfall, med oppfølging, lærdommer og tidslinje.

  * Managing Incidents — kapittel 14 i SRE-boken: hendelseslederen,
det levende hendelsesdokumentet og overleveringene som postmortemen
senere bygger på.

hDenne siden på nettet	URL:https://engineer.company/nb/glossary/postmortem/	engineer.company	70
