Runbook

Hva det er

En runbook er en utprøvd veiledning for en driftsoppgave. Den
forklarer når oppgaven kan gjøres, hva som må være tilgjengelig,
hvordan den utføres og hvordan operatøren kjenner igjen resultatet.
Noen oppgaver gjøres for hånd. Andre utføres av automatisering, med
veiledningen som forklaring av forutsetninger og kontroller.
Oppgaven kan være å fornye et sertifikat, prøve en sikkerhetskopi
eller gå tilbake til en kjent konfigurasjon.

I sitt rammeverk for god driftspraksis anbefaler AWS runbooks for
prosedyrer og playbooks for å undersøke problemer. Ulike team bruker
ordene på ulike måter. Det interessante er hva leseren må vite på
forhånd. Når man kjenner den nødvendige oppgaven, kan veiledningen
lede fra en bestemt utgangstilstand til et klart resultat. Når man
fortsatt leter etter årsaken til en feil, trengs det observasjoner
og valg som viser hvilken oppgave teamet bør gå videre med.

En runbook trenger ikke være lang. Den skal angi system og miljø,
tilgang, hvem som har ansvar, hva som må være i orden før start, og
hva det vil si at oppgaven lykkes. Den forklarer også når operatøren
må stoppe eller kontakte noen. Det er forskjell på at et verktøy
melder om vellykket kjøring og at en tjeneste faktisk leverer det
den skal. Hver kontroll bør svare på det spørsmålet som hører til
trinnet.

Hvorfor det er viktig

Under et avbrudd er det ikke sikkert at den som er på vakt, kjenner
det aktuelle verktøyet godt. En veiledning reduserer tiden som
ellers går med til å rekonstruere fremgangsmåten fra minnet.
Operatøren kan se etter riktig system og riktige data og kan kjenne
igjen et forventet resultat før neste trinn. Det er nyttig ved
skiftende vakter og når flere avdelinger bidrar til samme
gjenoppretting.

Arbeidet med å skrive veiledningen avslører ofte taus kunnskap. Én
person sier at kopien er klar når en jobb er ferdig. En kollega på
øvelse oppdager at neste verktøy krever en tillatelse som ikke står
i teksten, eller at rapporten utelater poster som ikke lot seg
kopiere. Veiledningen kan gjøre slike forskjeller tydelige. Den
hjelper også gruppen med å se hvilke deler som kan automatiseres, og
hva som bør avgjøres ut fra den aktuelle situasjonen.

Driften forandrer seg. En tillatelse flyttes eller en tjeneste
byttes ut, og en instruksjon kan raskt bli utdatert. En navngitt
eier kan holde teksten sammen med koden eller konfigurasjonen som
styrer arbeidet, og oppdatere dem sammen. Når en annen person øver
på oppgaven, oppdager vedkommende forutsetninger forfatteren kan ta
for gitt. Øv også på å finne instruksjonen dersom den vanlige
tjenesten som lagrer dokumenter, er utilgjengelig.

Slik ser det ut i praksis

Tenk deg en rutine for å bevise at det går an å gjenopprette en
sikkerhetskopi av en rapportdatabase. Veiledningen begynner med
navnet på databasen, det isolerte testmiljøet og kontoen som har lov
til å lese kopien og skrive i miljøet. Kontroller hvor kopien kommer
fra, hvor gammel den er, og at ingen løsning i ordinær drift peker
mot testmiljøet. Noter hvilken kopi som brukes, og start
tidtakingen.

Neste trinn angir verktøyet som skal brukes, og hvor resultatet blir
logget. Når gjenopprettingen er ferdig, kjører operatøren en
velkjent rapport, sammenligner noen verdier med et forventet svar og
sjekker datoen på den siste posten. Manglende rader, feil kilde
eller en rapport som ikke kan kjøres, betyr at man stopper og
kontakter den ansvarlige. Etter en godkjent øvelse registreres
tiden. Den midlertidige databasen og tilgangen som ble gitt til
øvelsen, fjernes etter planen.

En kollega prøver så veiledningen med en eldre kopi enn det
tidsrommet øvelsen tillater. Forskjellen bør bli synlig før
gjenopprettingen starter, og kollegaen skal kunne se hvilke
opplysninger som må tas vare på. Når øvelsen er ferdig, retter
eieren uklare trinn. Tidspunkt og varighet for en gyldig øvelse kan
si noe om gjenopprettingstiden under akkurat de betingelsene.

Engineers sak om sikkerhetskopier som faktisk er blitt gjenopprettet
viser arbeid med å etterprøve en gjenoppretting. Den viser hvorfor
en ferdig kopi alene gir begrenset informasjon. Rapportdatabasen i
eksemplet er tenkt for å vise hvordan trinn og vilkår kan skrives.

Øvelsen gir også en anledning til å kontrollere hva som kan
dokumenteres uten å ta med kundeopplysninger. En kort rapport kan
navngi miljøet, formålet, de utførte kontrollene og begynnelsen på
tidtakingen. Hvis kopien lot seg lese, men en prøve viste manglende
rapportdata, skal begge observasjonene stå der. De gir ulike svar på
arbeidsoppgavens spørsmål.

Hvor det går galt

Trinnene forutsetter at alt virker som vanlig. Hvis dokumentasjonen,
overvåkingen eller innloggingen er utilgjengelig, må operatøren
fremdeles ha en tillatt vei til fremgangsmåten og kunne kontrollere
forutsetningene. Øv på det før et virkelig avbrudd.

Veiledningen sier hva man skal trykke på. Et nytt grensesnitt kan
gjøre gamle bilder ubrukelige. Beskriv også hva handlingen skal
gjøre, og hvilket resultat og hvilke avvik man kan se etter.

Den samme veiledningen brukes i alle situasjoner. Like symptomer kan
ha forskjellige årsaker. Bruk observasjoner til å finne tilstanden
som gjør oppgaven riktig, før du følger trinnene.

Bare forfatteren har prøvd rutinen. Gi en kollega trygge
øvingsrammer og be vedkommende notere steder der utfallet, et begrep
eller nødvendig tilgang måtte gjettes.

Les mer

  * AWS om runbooks — prosedyrer, ansvar og vedlikehold.

  * AWS om playbooks — undersøkelser og valg av fremgangsmåte.

  * Google om beredskap og innsats — å øve på håndtering før et
avbrudd.

hDenne siden på nettet	URL:https://engineer.company/nb/glossary/runbook/	engineer.company	70
