# Service Level Objective

## Was es ist

Ein Service Level Objective ist ein Ziel für das Verhalten eines Dienstes, so genau formuliert, dass jeder seine Einhaltung prüfen kann: ein Anteil von Anfragen, der innerhalb eines benannten Zeitraums erfolgreich oder schnell genug beantwortet werden muss. Fast jeder kürzt es zu SLO ab. Googles Buch Site Reliability Engineering definiert es als Zielwert oder Wertebereich für ein bestimmtes Serviceniveau, gemessen durch einen Indikator.

Dieser Indikator heißt Service Level Indicator, kurz SLI: eine sorgfältig definierte Größe, die einen Aspekt des tatsächlich bei den Nutzern ankommenden Dienstes beschreibt. Anfragelatenz ist die übliche erste Wahl, dicht gefolgt von Fehlerrate und Durchsatz. Das SRE Workbook empfiehlt, jeden SLI als Verhältnis guter Ereignisse zu allen Ereignissen zu schreiben. Damit reicht er von 0 %, wo nichts funktioniert, bis 100 %, wo nichts fehlschlägt. Das Objective zieht dann eine Linie auf dieser Skala: Der Indikator muss auf der richtigen Seite eines Zielwerts oder zwischen einer unteren und einer oberen Grenze bleiben.

Ein vollständiges Ziel nennt alles, was zu seiner Prüfung nötig ist. Das Beispiel des Buchs lautet: 99 % der Get-RPC-Aufrufe werden in weniger als 100 ms abgeschlossen; dabei wird der Anteil über eine Minute gemittelt und über alle Backendserver gemessen. Ein Indikator kann mehrere Ziele zugleich tragen, etwa 90 % der Aufrufe unter 1 ms, 99 % unter 10 ms und 99,9 % unter 100 ms. Ein einzelnes Perzentil beschreibt selten eine ganze Verteilung. Das Workbook trennt außerdem die Spezifikation, also das für Nutzer relevante Ergebnis, von der Implementierung, also dem Messort: einem Serverprotokoll, einer Sonde mit Browser oder Code in der Seite selbst. Jede Variante sieht andere Fehler, und die Wahl gehört in die Definition.

Ein SLO ist kein SLA. Ein Service Level Agreement ist ein ausdrücklicher oder stillschweigender Vertrag mit Nutzern, der Folgen an das Einhalten oder Verfehlen seiner Ziele knüpft, am sichtbarsten eine Rückvergütung oder Vertragsstrafe. Der Test des Buchs fragt, was beim Verfehlen des Ziels passiert: Folgt nichts ausdrücklich Vereinbartes, ist es ein SLO. Eine Fußnote ergänzt, dass mit einem verletzten SLA fast immer ein verfehltes SLO gemeint ist. Ein wirklicher SLA-Verstoß kann wegen Vertragsverletzung vor Gericht enden. Google Search hat laut Buch kein SLA für die Öffentlichkeit, doch ein Ausfall kostet dennoch Ansehen und Werbeeinnahmen.

## Warum es wichtig ist

Ohne erklärtes Ziel erfinden Nutzer ihr eigenes. Das SRE-Buch beschreibt beide Fehlentwicklungen: Menschen vertrauen einem Dienst mehr, als sie sollten, und mögliche Nutzer halten ihn für unzuverlässiger, als er ist, und bleiben fern. Das Beispiel ist Chubby, Googles Sperrdienst für verteilte Systeme. Globale Ausfälle waren so selten, dass andere Dienste unbemerkt davon abhängig wurden, dass er nie ausfiel. Bei den seltenen tatsächlichen Ausfällen brachen diese Dienste zusammen. Die Antwort war, die globale Instanz ihr SLO erfüllen zu lassen, ohne es wesentlich zu übertreffen: In jedem Quartal, in dem echte Ausfälle die Verfügbarkeit nicht unter das Ziel gedrückt hatten, legte SRE das System absichtlich still.

Das Ziel klärt auch, wie viel Zuverlässigkeit genügt. „100 % Zuverlässigkeit ist das falsche Ziel“, schreibt das SRE Workbook, und seine Gründe sind praktisch. Komponenten können unabhängig von ihrer Bauweise gleichzeitig ausfallen. Auch die Kette aus Netzwerken und Geräten zwischen einem Dienst und seinen Kunden fällt aus. Die Kunden würden die 100 % deshalb nie sehen. Jede weitere Neun kostet mehr als die vorherige, während ihr Nutzen gegen null geht. Und weil Änderungen die häufigste Ausfallursache sind, kann ein Dienst, der nie ausfallen darf, auch nie aktualisiert werden. Liegt das Ziel unter 100 %, lässt der Abstand zur Perfektion Spielraum für Veröffentlichungen, Experimente und geplante Wartung: das Fehlerbudget, schlicht 100 % minus SLO. Jemand muss diese Abwägung zwischen neuen Funktionen und Verfügbarkeit verantworten. Das Workbook nennt dafür den CTO in einer kleinen Organisation und den Product Owner oder Produktmanager in einer größeren.

Schließlich macht das Ziel aus Überwachung Entscheidungen. Das Buch beschreibt einen Regelkreis: Indikatoren messen, mit den Zielen vergleichen, Handlungsbedarf feststellen und handeln. Steigt die Latenz und wird sie die Grenze in einigen Stunden überschreiten, prüft das Team, ob die CPU der Engpass auf den Servern ist, und fügt weitere Server hinzu. Ohne Ziel, so das Buch, kann niemand sagen, ob oder wann gehandelt werden soll.

## Wie es in der Praxis aussieht

Nehmen Sie eine Checkout-API und ein nach dem Vorschlag des Workbooks formuliertes Ziel: Indikator und Messort sind getrennt, das Zeitfenster ist benannt und die Begründung steht daneben:

```text
Dienst:      Checkout-API
SLI:         Anteil der POST /checkout-Anfragen mit Antwort ohne 5xx-Status,
             gezählt im Anfrageprotokoll des Servers
Ziel:        99.9% über ein rollierendes Zeitfenster von 28 Tagen
Begründung:  Beobachtung, aus vier Wochen Daten nach unten gerundet
Verantwortung: Produktmanager zusammen mit den Bereitschaftsingenieuren
Prüfung:     anfangs monatlich, nach der Stabilisierung vierteljährlich
```

Das Zeitfenster ist ebenso wichtig wie der Prozentsatz. Das Workbook bevorzugt ein rollierendes Fenster gegenüber einem Kalendermonat. Nutzer vergessen einen Ausfall am letzten Tag eines Monats nicht, sobald der nächste beginnt. Es bevorzugt außerdem ganze Wochen, damit jedes Fenster gleich viele Wochenenden enthält; vier Wochen sind seine allgemeine Empfehlung. Dieses Fenster umfasst 28 × 24 × 60 = 40.320 Minuten. 0,1 % davon sind etwas mehr als 40 Minuten vollständiger Ausfall. In einem Monat mit 30 Tagen erlauben dieselben 99,9 % 43,2 Minuten, die Zahl aus der Verfügbarkeitstabelle des Buchs.

Zeit ist allerdings das gröbere Zählmaß. Das SRE-Buch erklärt, dass Google Verfügbarkeit als Erfolgsquote von Anfragen statt als Betriebszeit misst. Ein weltweit verteilter Dienst ist selten vollständig verfügbar oder vollständig ausgefallen. In Anfragen gerechnet lautet das Beispiel des Workbooks: Bei 99,9 % lassen 3 Millionen Anfragen über vier Wochen Raum für 3.000 Fehler. Ein Ausfall, der 1.500 davon verursacht, verbraucht das halbe Budget. Das Zählen von Anfragen erfasst auch die Kosten von Teilausfällen, die eine reine Betriebszeitmessung übersieht. Bei gleichmäßigem Verkehr kosten 20 Minuten mit der Hälfte fehlgeschlagener Anfragen ebenso viel wie 10 Minuten Totalausfall. Das ist ungefähr ein Viertel des Budgets für 28 Tage.

Mit einem nach Status gekennzeichneten Anfragezähler lässt sich der Indikator für das Zeitfenster in Prometheus als ein Verhältnis ausdrücken, nach dem Vorbild des Workbook-Beispiels:

```promql
sum(rate(http_requests_total{job="checkout", status!~"5.."}[28d]))
  /
sum(rate(http_requests_total{job="checkout"}[28d]))
```

Auf dieser Website steht die Seite zu Service Levels auf der Vertragsseite dieser Trennlinie. Für ein System, das das Unternehmen im Auftrag eines Kunden betreibt, stehen Reaktionszeit bei Vorfällen, abgedeckte Zeiten, geforderte Verfügbarkeit und Wartungsfenster in der Vereinbarung für dieses System. Sie werden pro System festgelegt, weil ein nächtlicher Bericht und ein Zahlungsdienst unterschiedliche Antworten brauchen. Die eigene Fehlerüberwachung und das Tracing, die die Gründerin im Rahmen ihrer aktuellen Arbeit für NextMariner aufgebaut hat, sind über mehrere Ansichten für den Betrieb zugänglich, darunter eine für Service Level Objectives. Und der Beitrag zum genau einmaligen Verkauf der letzten Eintrittskarte macht aus einer Bestandsinvariante ein solches Ziel: regelmäßig prüfen, als Diagramm darstellen und bei jeder Abweichung die Bereitschaft alarmieren. So wird das Ausbleiben von Überverkäufen zu einem Ziel mit Alarmierung statt zu einer Hoffnung.

## Wo es schiefgeht

Der Zielwert stammt aus dem Dashboard des letzten Monats. Den heutigen Istwert zu übernehmen fühlt sich sicher an. Das SRE-Buch warnt jedoch: Ein unüberlegt gewähltes Ziel kann ein Team zu heldenhaften Anstrengungen zwingen, es weiter zu erfüllen, obwohl das System ohne Neuentwurf nicht besser werden kann. Leiten Sie das Ziel von den Bedürfnissen der Nutzer her und schreiben Sie die Begründung neben die Zahl. Das Workbook verlangt die Begründung und die Angabe, ob die Werte aus Experimenten oder Beobachtungen stammen, selbst wenn es ausdrücklich Ad-hoc-Werte sind. Prüfen Sie das Dokument anfangs monatlich und nach der Stabilisierung vierteljährlich.

Das Ziel lautet 100 % oder besteht aus Neunen, deren Kosten niemand berechnet hat. Ein immer verfügbarer oder unbegrenzt skalierender Dienst ist teuer zu bauen und zu betreiben und besser, als Nutzer es wahrnehmen würden. Beginnen Sie mit einem lockeren Ziel und verschärfen Sie es mit wachsender Systemkenntnis. Das Buch zieht dies einem strengen Ziel vor, das später gelockert werden muss, weil es sich als unerreichbar erwiesen hat.

Ein Mittelwert soll das Nutzererlebnis darstellen. Im Buchbeispiel dauert eine typische Anfrage etwa 50 ms, während 5 % der Anfragen zwanzigmal so lange dauern. Ein Diagramm des Mittelwerts zeigt den ganzen Tag keinerlei Auffälligkeit. Formulieren Sie Latenzziele als Perzentile oder als Anteil von Anfragen unter einer Schwelle, etwa 300 ms, niemals als Mittelwert.

Es gibt mehr Ziele, als jemand begründen kann. Ein Dutzend SLOs pro Dienst verwässert sie alle. Der Test des Buchs ist unverblümt: Kann das Zitieren eines Ziels nie einen Streit über Prioritäten entscheiden, lohnt es sich vermutlich nicht. Behalten Sie die wenigen Ziele, die das tatsächliche Handeln der Nutzer abdecken.

Ein verfehltes Ziel ändert nichts. Das Workbook nennt das ein zahnloses SLO: Die Einhaltung wird zu einem weiteren KPI im Bericht statt zu einem Entscheidungsgrund. Vereinbaren Sie vorab, was nach Verbrauch des Budgets geschieht, und lassen Sie Produktmanager, Entwickler und SREs unterschreiben. Die beispielhafte Fehlerbudgetrichtlinie des Workbooks setzt gewöhnliche Änderungen aus, solange der Dienst sein Ziel verfehlt. Erlaubt bleiben nur Fehlerbehebungen höchster Priorität und Sicherheitsarbeiten. Sie sagt ausdrücklich, dass die Richtlinie keine Strafe ist.

SLO und SLA nennen dieselbe Zahl. Entspricht das interne Ziel dem Vertrag, ist die Vertragsverletzung das erste Warnsignal für das Team. Das Buch empfiehlt ein strengeres internes Ziel als das nach außen zugesagte, als Puffer für chronische Probleme. Auch der umgekehrte Fehler zählt: Ein Dienst, der sein Ziel deutlich übertrifft, lehrt Nutzer, sich darauf zu verlassen. Das Buch empfiehlt deshalb gelegentliche geplante Ausfallzeiten, Drosselung oder ein System, das unter geringer Last nicht schneller wird.

Das Zeitfenster ist länger als der Datenbestand. Ein Ziel über 28 Tage auf einem Prometheus-Server, der ohne eingestellte Aufbewahrung standardmäßig 15 Tage Messwerte behält, misst unbemerkt 15 Tage und meldet sie als vier Wochen. Stellen Sie eine Aufbewahrungsdauer jenseits des Fensters ein, bevor Sie der Zahl vertrauen:

```text
prometheus --storage.tsdb.retention.time=35d
```

## Weiterführende Lektüre
* Service Level Objectives — Kapitel 4 in Googles Buch Site Reliability Engineering: Indikatoren, Ziele und Vereinbarungen sowie die Wahl eines Zielwerts.
* Implementing SLOs — Das Kapitel des SRE Workbooks über SLIs als Verhältnisse, Fehlerbudgets, Zeitfenster und die schriftliche Festlegung des Ziels.
* Example Error Budget Policy — Eine vollständige Richtlinie für einen fiktiven Spieledienst: Wann Veröffentlichungen stoppen und wer bei Uneinigkeit entscheidet.
* Embracing Risk — Warum Google Verfügbarkeit anhand erfolgreicher Anfragen statt der Betriebszeit misst und was jede weitere Zuverlässigkeitsstufe kostet.
* Availability Table — Wie viel Ausfallzeit jede Verfügbarkeitsstufe pro Jahr, Quartal, Monat, Woche, Tag und Stunde erlaubt.
* Storage — Wie Prometheus Messwerte auf der Platte speichert und welche Aufbewahrungsoptionen den Rückblick einer SLO-Abfrage bestimmen.

=> /de/service-levels/ Service Levels
=> /de/portfolio/built-first-party-error-monitoring-and-tracing/ eigene Fehlerüberwachung und das Tracing
=> /de/notes/selling-limited-stock-without-overselling/ genau einmaligen Verkauf der letzten Eintrittskarte
=> https://sre.google/sre-book/service-level-objectives/ Service Level Objectives
=> https://sre.google/workbook/implementing-slos/ Implementing SLOs
=> https://sre.google/workbook/error-budget-policy/ Example Error Budget Policy
=> https://sre.google/sre-book/embracing-risk/ Embracing Risk
=> https://sre.google/sre-book/availability-table/ Availability Table
=> https://prometheus.io/docs/prometheus/latest/storage/ Storage

=> https://engineer.company/de/glossary/service-level-objective/ Diese Seite im Web
