# Monitoring

## Was es ist

Monitoring ist das fortlaufende Lesen dessen, was ein laufendes System über sich selbst meldet: Ein Mechanismus vergleicht diese Meldungen immer wieder mit festgelegten Grenzen und entscheidet, wann ein Mensch davon erfahren muss. Googles Buch Site Reliability Engineering definiert Monitoring als das Erfassen, Verarbeiten, Zusammenfassen und Anzeigen quantitativer Systemdaten in Echtzeit: wie viele Anfragen welcher Art eingehen, wie viele auf welche Weise scheitern, wie lange sie dauern und wie lange jeder Server bereits läuft. Das Ziel ist eine Reihenfolge: Das System meldet seine Schwierigkeiten, bevor ein Nutzer es tut.

Die Daten kommen aus zwei Richtungen. White-Box-Monitoring liest, was ein System über sein Inneres offenlegt, etwa einen Metrik-Endpunkt, eine Warteschlangenlänge oder einen Wiederholungszähler. Es kann damit Probleme entstehen sehen, bevor jemand sie spürt. Black-Box-Monitoring steht außerhalb und verhält sich wie ein Nutzer: Es ruft eine Seite ab, löst einen Namen auf oder schließt eine Anmeldung ab und meldet, ob das gelang und wie lange es dauerte. Es sieht nur, was schon kaputt ist. Gerade das macht es zu einem verlässlichen Grund, jemanden zu wecken.

Ein Monitoring-System speichert überwiegend Zahlen, die über die Zeit stichprobenartig erfasst werden. Zahlen lassen sich günstig speichern und leicht gegen einen Schwellenwert prüfen. Dasselbe SRE-Kapitel nennt vier als Ausgangspunkt für alles, was Nutzern dient: Latenz, also die Dauer einer Anfrage; Datenverkehr, also die eingehende Last; Fehler, also den Anteil gescheiterter Anfragen; und Sättigung, also die Nähe der am stärksten beanspruchten Ressource zur Vollauslastung.

Um die Zahlen herum gibt es zwei Ausgaben. Ein Dashboard dient zum Nachsehen, wenn jemand bereits einen Verdacht hat. Ein Alarm dient zum Unterbrechen, wenn alle mit etwas anderem beschäftigt sind. Im Prometheus-Ökosystem wertet der Server die Regeln aus, und Alertmanager gruppiert, dedupliziert und verteilt die ausgelösten Alarme.

Zwei verwandte Begriffe werden leicht damit verwechselt. Logging hält einzelne Ereignisse fest, eine Zeile pro Geschehen. Nach einem Alarm liest jemand darin nach, um den Grund zu finden. Observability ist nach der Einordnung des OpenTelemetry-Projekts die weiter reichende Fähigkeit, einem System von außen neue Fragen zu stellen. Monitoring ist die engere und ältere Praxis: vorher festgelegte Fragen, fortlaufend gestellt, mit einer Antwort, die einen Menschen alarmieren kann.

## Warum es wichtig ist

Die Alternative ist, erst durch die Betroffenen von einem Problem zu erfahren, zu welcher Uhrzeit sie es auch bemerken. Monitoring verlegt diesen Moment nach vorn und leitet die Meldung an jemanden weiter, der handeln kann.

Die knappe Ressource ist eher Aufmerksamkeit als Software. Ein Alarm unterbricht tagsüber die Arbeit und nachts den Schlaf. Das SRE-Buch sagt deutlich, was bei zu häufigen Alarmen passiert: Menschen überfliegen sie, zweifeln sie an und ignorieren sie schließlich, mitunter samt dem echten Alarm im Rauschen. Die Empfehlung des Prometheus-Projekts passt in einen Satz: „Die Alarmierung einfach halten, auf Symptome alarmieren, gute Konsolen zum Eingrenzen der Ursachen bieten und Alarme ohne Handlungsmöglichkeit vermeiden.“ Jede Regel, die jemanden wecken kann, ist das Versprechen, dass beim Auslösen etwas Dringendes zu tun ist.

Damit dreht sich die zentrale Entscheidung darum, was Nutzer spüren. Eine zu 85 % volle Platte ist eine Ursache; ein scheiternder Bezahlvorgang ein Symptom. Auf Symptome zu alarmieren hält die Zahl der Regeln klein: Es gibt weit weniger Arten, wie Nutzer beeinträchtigt werden, als Arten, wie Maschinen sich falsch verhalten. Ursachen gehören weiterhin auf Dashboards und in Tickets. Dort helfen sie bei der Diagnose, ohne jemanden zu wecken. Kapazität ist die ehrliche Ausnahme: Eine fast volle Ressource schadet heute noch niemandem, wird aber bald einen Menschen brauchen.

Dann stellt sich die Frage nach Eigenbetrieb oder gemietetem Dienst. Eigenbetrieb bedeutet einen Zeitreihenspeicher, einen Alarmverteiler und jemanden, der beide gesund hält. Ein gehosteter Dienst nimmt diese Arbeit ab und rechnet nach gesendetem Volumen ab. Jeder neue Host erscheint damit auf einer Rechnung. Laut SRE-Buch sind selbst bei Google in einem Team von 10–12 Ingenieurinnen und Ingenieuren typischerweise ein oder zwei Mitglieder hauptsächlich für Monitoring zuständig. In beiden Fällen ist es ein System mit eigenem Wartungsbedarf, dessen Größe zum überwachten System passen muss.

## Wie es in der Praxis aussieht

Zwei frühere Tätigkeiten der Gründerin und der unternehmenseigene Host zeigen dieselbe Idee in sehr unterschiedlichen Größenordnungen.

Von 2015 bis 2022 umfasste eine Tätigkeit als Infrastrukturingenieurin den [24/7-Support für etwa 1.000 IPTV-/OTT-Streamingserver](/de/portfolio/ran-24-7-support-for-1000-iptv-ott-servers/) sowie zahlreiche kundeneigene Systeme für Kunden in China, den USA und Deutschland. Bei Kunden in drei Zeitzonen gab es keine ruhige Stunde. Ein Problem um 3 Uhr morgens Ortszeit fiel anderswo in die Hauptsendezeit. Ein großer Teil der Arbeit bestand darin, schleichende Veränderungen vor einem Ausfall zu bemerken. Probleme wurden behoben, bevor sie den Bildschirm eines Zuschauers erreichten. Bei einem solchen Dienst sieht Erfolg so aus, als passiere nichts. Monitoring erlaubt dem Team, das zu wissen, statt es zu hoffen.

In einer Tätigkeit als Datenbankingenieurin von 2022 bis 2024 reduzierte automatisiertes Monitoring über [100 PostgreSQL-, MS-SQL- und BigQuery-Datenbanken](/de/portfolio/ran-100-postgresql-ms-sql-bigquery-warehouses/) hinweg die Ausfallzeit um 50 %.

Das Monitoring des unternehmenseigenen Hosts für öffentliche Dienste liegt am anderen Ende der Größenordnung. [Eine einzelne Maschine mit 512 MB betreibt diese Dienste](/de/portfolio/a-whole-company-on-one-small-server/). Davon sind etwa 464 MB nutzbar, und der Speicher entscheidet dort jede Entwurfsfrage. Die Berichte werden auf Anfrage abgerufen, statt über Agent, Pipeline und Dashboard zu laufen: sieben Befehle, die den Host lesen und Markdown ausgeben, nichts ändern und nur auf Anfrage laufen. Die Entscheidung über den Onion-Dienst zeigt die Methode: Als die Frage aufkam, wurde der Host einen Tag lang stichprobenartig gemessen, und die Messwerte entschieden. In diesen aufgezeichneten Stichproben lag der Tiefststand des verfügbaren Speichers bei etwa 310 MB von 464, die Swap-Nutzung bei 2,6 % und der Prozessor war 99,7 % der Zeit untätig. In dieser Größenordnung ist Monitoring eine Messung genau dann, wenn eine Entscheidung sie braucht.

## Wo es schiefgeht

**Der Pager meldet sich so oft, dass niemand mehr liest.** Jeder Vorfall hinterlässt eine Regel. Viele schlagen bei Ursachen an, die von selbst verschwinden. Nach wenigen Monaten wird der echte Alarm zusammen mit den übrigen überflogen. Alarmieren Sie nur bei dem, was Nutzer bemerken würden, und nur an einer Stelle im Stack. Alles andere geht in eine Ticket-Warteschlange oder auf ein Dashboard. Lassen Sie die Bedingung dann eine Weile bestehen, bevor sie auslöst. So weckt eine nach einer Minute verschwundene Störung niemanden:

```yaml
groups:
    - name: checkout
      rules:
          - alert: CheckoutErrorsHigh
            expr: job:checkout_errors:ratio5m > 0.02
            for: 10m
            labels:
                severity: page
```

**Das Monitoring fällt aus, und seine Stille wirkt wie eine gute Nachricht.** Eine Regel, die nie auslöst, sieht genauso aus wie ein System, das nie ausfällt. Fallen der Prometheus-Server, Alertmanager oder das Mail-Relay aus, enden alle Alarme zugleich. Prometheus selbst rät, das Monitoring zu überwachen. Noch besser ist ein Test des gesamten Wegs von Anfang bis Ende: Eine Prüfung belegt dann, dass ein Alarm von der Regel bis ins Postfach gelangt. Zeitgesteuerte Aufgaben geraten in dieselbe Falle. Eine Sicherung, die nicht mehr läuft, wirft keinen Fehler; sie hinterlässt einfach keine Spuren mehr. Alarmieren Sie, wenn der letzte Erfolg zu lange zurückliegt, und lassen Sie mindestens zwei vollständige Durchläufe zu. Für eine einstündige Aufgabe, die alle 4 Stunden läuft, empfiehlt das Projekt 10 Stunden:

```promql
time() - backup_last_success_timestamp_seconds > 10 * 3600
```

**Der Durchschnitt meldet Entwarnung, während manche Nutzer warten.** Durchschnitte lassen sich leicht darstellen und verbergen den langsamen Teil der Verteilung. Das SRE-Buch nennt als Beispiel einen Dienst mit durchschnittlich 100 ms bei 1.000 Anfragen pro Sekunde, bei dem 1 % der Anfragen leicht 5 Sekunden dauern kann. Hängt eine Seite von mehreren solchen Diensten ab, kann das 99. Perzentil eines Backends zum Median des Frontends werden. Schnelle Fehler verschärfen das, weil ein rascher Fehler den Durchschnitt nach unten zieht. Erfassen Sie Latenz in Klassen, alarmieren Sie auf ein hohes Perzentil und verfolgen Sie fehlgeschlagene Anfragen getrennt von erfolgreichen.

**Jede interne Zahl ist grün, während Nutzer den Dienst nicht erreichen.** White-Box-Metriken kommen aus dem Inneren des Systems und teilen deshalb seine blinden Flecken: Ein abgelaufenes Zertifikat, ein defekter DNS-Eintrag oder eine Firewall-Änderung kann jede dieser Zahlen gesund aussehen lassen. Eine Black-Box-Prüfung von einer Maschine außerhalb des Systemnetzes erkennt, was sonst unsichtbar bleibt. Sie arbeitet auch dann weiter, wenn das interne Monitoring zusammen mit allem anderen ausfällt.

## Weiterführende Lektüre

- [Prometheus: Überblick](https://prometheus.io/docs/introduction/overview/) — was ein metrikbasiertes Monitoring-System erfasst, aus welchen Teilen es besteht und wann Genauigkeit für Einzelereignisse etwas anderes verlangt.
- [Alarmierung](https://prometheus.io/docs/practices/alerting/) — die Empfehlungen des Prometheus-Projekts zu alarmwürdigen Zuständen: von Online-Diensten und Stapelaufgaben bis zum Monitoring des Monitorings.
- [Alertmanager](https://prometheus.io/docs/alerting/latest/alertmanager/) — wie Alarme dedupliziert, gruppiert, stummgeschaltet, durch andere Alarme unterdrückt und an einen Empfänger verteilt werden.
- [Verteilte Systeme überwachen](https://sre.google/sre-book/monitoring-distributed-systems/) — Kapitel 6 von Googles Buch Site Reliability Engineering: Symptome und Ursachen, die vier goldenen Signale und den langsamen Teil der Verteilung.
- [Einführung in Observability](https://opentelemetry.io/docs/concepts/observability-primer/) — OpenTelemetrys Darstellung von Signalen, SLIs und SLOs und davon, wo Observability über Monitoring hinausgeht.

<https://engineer.company/de/glossary/monitoring/>
