Chaos Engineering

Was es ist

Chaos Engineering bedeutet, reale Fehler absichtlich und
kontrolliert in ein laufendes System einzubringen, um
herauszufinden, ob es damit zurechtkommt. Die Principles of Chaos
Engineering, das kurze Dokument, auf das die meisten Praktiker
verweisen, definieren es als „die Disziplin, an einem System zu
experimentieren, um Vertrauen aufzubauen“, dass es turbulenten
Bedingungen in Produktion standhält. Entscheidend ist das
Experimentieren. Ein Chaos-Experiment prüft keine Funktion gegen
eine Spezifikation. Es stellt eine Frage über das gesamte System und
akzeptiert die Antwort, die zurückkommt.

Die Begründung beginnt bei verteilten Systemen. Jeder Dienst darin
kann korrekt arbeiten, und die Wechselwirkungen können dennoch
Ergebnisse hervorbringen, die niemand vorhergesehen hat. Seltene
reale Ereignisse wie ein abgestürzter Server oder eine unterbrochene
Netzwerkverbindung verschärfen das. Die Principles nennen die dort
verborgenen Schwächen: falsche Fallback-Einstellungen bei nicht
verfügbarem Dienst, schlechte Timeout-Einstellungen, die
Wiederholungsversuche verstärken, von ihren Aufrufern überlastete
Abhängigkeiten und eine ausgefallene Komponente, die mehrere andere
mitreißt. Nichts davon zeigt sich, wenn jeder Teil einzeln getestet
wird.

Ein Experiment besteht nach den Principles aus vier Schritten:

1. Definieren Sie den Normalzustand als messbare Ausgabe des
Systems, die normales Verhalten anzeigt, etwa Durchsatz, Fehlerrate
oder ein Latenzperzentil.

2. Stellen Sie die Hypothese auf, dass der Normalzustand sowohl in
einer Kontrollgruppe als auch in einer Versuchsgruppe bestehen
bleibt.

3. Führen Sie Variablen ein, die reale Ereignisse abbilden:
abstürzende Server, ausfallende Platten, unterbrochene
Netzwerkverbindungen.

4. Vergleichen Sie die gemessenen Ausgaben der Gruppen und suchen
Sie nach Belegen, die der Vorhersage widersprechen.

Je schwerer sich der Normalzustand stören lässt, desto mehr
Vertrauen kann das Team in das System haben. Wird die Hypothese
widerlegt, hat das Team eine Schwäche gefunden, solange sie noch
klein ist und Menschen zusehen, statt bei einem nächtlichen Ausfall.

Das bekannteste Werkzeug ist Netflix’ Chaos Monkey. Es beendet
zufällig ausgewählte Instanzen virtueller Maschinen und Container in
Produktion. Seine README nennt es als Beispiel eines Werkzeugs, das
den Principles folgt. Sein erklärtes Ziel ist, Entwickler zum Bau
von Diensten zu bewegen, die gegen Instanzausfälle widerstandsfähig
sind.

Warum es wichtig ist

Redundanz, Failover und Fallbacks sind Versprechen darüber, was bei
einem Defekt geschieht. Ein nie geprüftes Versprechen ist eine
Hypothese. Ein Standby, der noch keinen Verkehr übernommen hat, eine
Wiederholungsstrategie, die noch keine langsame Abhängigkeit erlebt
hat, ein noch nie ausgelöster Alarm: Alles kann funktionieren. Der
erste echte Ausfall ist eine teure Art, das herauszufinden. Chaos
Engineering verlegt diese Entdeckung auf einen vom Team gewählten
Zeitpunkt.

Außerdem prüft es das System statt der Einzelteile. Unit- und
Integrationstests prüfen Verhalten, an das bereits jemand gedacht
hat. Die Principles benennen den Unterschied direkt:
Chaos-Experimente prüfen, dass das System funktioniert, statt zu
validieren, wie es funktioniert. Deshalb betrachten sie die von
Nutzern bemerkbare Ausgabe, etwa Fehlerrate und Latenz, und nicht
die Interna einer einzelnen Komponente.

Die Belege liegen in Produktion. Systeme verhalten sich je nach
Umgebung und Verkehrsmuster unterschiedlich. Laut den Principles
lässt sich der Anfragepfad nur durch Stichproben aus echtem Verkehr
zuverlässig erfassen. Googles Buch Site Reliability Engineering
kommt aus der anderen Richtung zum selben Schluss: Synthetische Last
zeigt womöglich nicht, wo Komponenten wirklich versagen. Sobald ein
Dienst gegen Überlastung geschützt ist, empfiehlt das Buch deshalb
Fehlertests an einem begrenzten Teil des laufenden Dienstes.
Reservekapazität soll bereitstehen, falls die Schutzmaßnahmen nicht
funktionieren und jemand von Hand umschalten muss.

Schließlich ändert das die Anreize. Die README von Chaos Monkey sagt
es klar: Werden Entwickler häufiger Fehlern ausgesetzt, haben sie
einen Grund, widerstandsfähige Dienste zu bauen. Ein Team, dessen
Instanzen an jedem Arbeitstag beendet werden können, plant das von
Anfang an ein, statt die Lücke an dem Tag zu entdecken, an dem eine
Maschine ohne Vorwarnung stirbt.

Wie es in der Praxis aussieht

Ein Chaos-Experiment wird vor der Ausführung aufgeschrieben, ähnlich
einem Testplan. Hier ist eines für einen erfundenen Onlineshop. Jede
Zahl ist für das Beispiel erfunden:

```text
Experiment:   the payment provider slows down
Steady state: checkout success rate and p99 checkout latency, per 5 min
Hypothesis:   with 300 ms added to calls to the payment provider, the
              experimental group's success rate stays within 0.2 points
              of the control group's
Groups:       2% of checkout traffic in each, assigned at random
Variable:     300 ms of latency on the payment client, nothing else
Abort if:     success rate gap above 1 point for 2 minutes in a row
Window:       30 min, working hours, on-call engineer told in advance
Result:       hypothesis disproved; retries tripled the calls to the
              provider and p99 latency passed the 1 s timeout
Follow-up:    a retry budget per request; rerun the experiment after
```

Eine widerlegte Hypothese ist hier das nützliche Ergebnis. Die
Schwäche wird auf einem Anteil von 2 % des Verkehrs entdeckt, der
nur für wenige Minuten dem Experiment ausgesetzt ist; die
Abbruchbedingung steht bereits fest. Darauf folgt eine technische
Änderung statt einer Entschuldigung.

Die Variable selbst wird häufig mit gewöhnlichen Werkzeugen
eingebracht. Unter Linux emuliert die Warteschlangendisziplin netem
Eigenschaften realer Netze, darunter Verzögerung, Verlust,
Duplizierung und Beschädigung. Zum Beispiel:

```sh
i# experiment 1: add 100 ms of delay to every packet leaving eth0		engineer.company	70
tc qdisc add dev eth0 root netem delay 100ms
tc qdisc del dev eth0 root

i# experiment 2: drop one packet in a thousand, at random		engineer.company	70
tc qdisc add dev eth0 root netem loss 0.1%
tc qdisc del dev eth0 root
```

Die Zeile mit `del` ist die wichtige. Sie gehört in einen
Aufräumschritt, der unabhängig davon läuft, ob das Experiment
erfolgreich war, fehlgeschlagen oder mittendrin abgestürzt ist.
Netem nimmt außerdem einen `seed` entgegen, damit sich zufälliger
Verlust reproduzieren lässt. Sein Handbuch warnt, dass netem für
realistische TCP-Leistungsergebnisse am Eingang des empfangenden
Hosts sitzen muss.

Auf Ebene ganzer Maschinen zeigt Chaos Monkey, wie vorsichtige
Voreinstellungen aussehen. Ab Werk ist `enabled` false und `leashed`
true. Beendigungen werden also nur simuliert und protokolliert.
Eingeschaltet arbeitet es mit Instanzgruppen nach App, Stack oder
Cluster. Der mittlere Abstand zwischen Beendigungen beträgt zwei
Tage pro Gruppe, der Mindestabstand einen Tag. Es läuft nur an
Arbeitstagen zwischen 09:00 und 15:00 in seiner konfigurierten
Zeitzone. Konten, Regionen und Stacks lassen sich ausschließen. Die
Konfiguration hat einen Platz für eine Ausfallprüfung, die meldet,
ob gerade ein Ausfall läuft. Die mitgelieferten Implementierungen
dafür tun nichts; diese Prüfung muss der Betreiber bereitstellen.
Die Liste von Produktionsfehlertests im SRE-Buch ist ebenso konkret:
die Zahl der Tasks schnell oder langsam verringern, auf einmal die
Kapazität eines Clusters verlieren und den Verkehr zu Backends ins
Leere leiten, auch zu nicht kritischen, deren Schweigen ein Frontend
trotzdem zum Stillstand bringen kann.

Die Fallstudie auf dieser Website, die zeigt, wie das Funktionieren
der Sperre gegen Eindringversuche bei jedem Durchlauf nachgewiesen
wurde, stammt vom September 2026. Sie ist kein Chaos-Experiment im
vollen Sinn, hat aber dieselbe Form. Jeder Härtungsdurchlauf sperrt
eine Adresse aus dem von Standards für Dokumentation reservierten
Block, liest die entstandene Regel aus dem Kernel zurück, statt dem
Status des Dienstes zu vertrauen, und hebt die Sperre in einem
Aufräumblock auf, der bei bestandener wie fehlgeschlagener Prüfung
läuft. Weil die Testadresse niemandem gehört, kann eine nach einem
fehlgeschlagenen Durchlauf zurückbleibende Sperre kein reales Netz
aussperren. Die Seite benennt die Kosten offen: Bei jedem Durchlauf
eine Regel in Produktion zu schreiben ist ein echter Eingriff in ein
laufendes System. Er wird akzeptiert, weil sich die Alternative
bereits als schlechter erwiesen hatte. Die Implementierung von
Backups und Wiederherstellungstests überträgt diese Idee in ihrem
Entwurf auf die Wiederherstellung: Ein monatlicher Workflow stellt
eine bekannte Datei an einem temporären Ort wieder her und
vergleicht ihre Bytes. Die Implementierungsdokumentation vom
2026-10-27 hält fest, dass die Timer ohne konfiguriertes Repository
deaktiviert waren, und dokumentiert keine abgeschlossene reale
Wiederherstellung. Der Workflow existiert als Code. Eine
erfolgreiche Wiederherstellungsübung bleibt eine gesonderte
Leistung.

Wo es schiefgeht

Dinge ohne Hypothese kaputtmachen. Einen zufälligen Server zu
beenden und zuzusehen ist eine Vorführung, kein Experiment.
Schreiben Sie zuerst Normalzustand, Hypothese und Abbruchbedingung
auf. Kann das Team seinen Normalzustand nicht in Echtzeit auf einem
Dashboard sehen, muss zuerst das behoben werden. Das Experiment kann
warten.

Interna statt Ausgabe beobachten. Die CPU-Auslastung auf einem Host
oder die Länge einer Warteschlange sagt wenig darüber aus, ob Nutzer
etwas bemerkten. Die Principles verlangen messbare Ausgaben des
gesamten Systems wie Durchsatz, Fehlerraten und Latenzperzentile.
Darum geht es in der Hypothese.

Ein unbegrenzter Wirkungsradius. Die Principles akzeptieren gewisse
kurzfristige negative Auswirkungen, machen aber den Entwickler für
ihre Begrenzung verantwortlich. Beginnen Sie mit einer Instanz oder
einem kleinen Verkehrsanteil. Halten Sie einen Abbruchschalter
bereit, der ohne das schadensverursachende Werkzeug funktioniert.
Starten Sie nie ein Experiment während eines laufenden Vorfalls.

Nie über Staging hinauskommen. Eine Staging-Umgebung ist ein
vernünftiger erster und ein schlechter letzter Schritt, weil ihr
Verkehr, ihre Daten und ihre Nachbarn nicht die der Produktion sind.
Wechseln Sie zu einem kleinen Teil echten Verkehrs, sobald das
Experiment vor Produktion fehlerfrei gelaufen ist, statt die
Staging-Ergebnisse als abschließende Antwort zu behandeln.

Es einmal ausführen. Ein System, das im März ein Experiment
überstanden hat, wurde seither oft geändert. Die Principles nennen
manuelle Experimente arbeitsaufwendig und auf Dauer nicht tragfähig.
Sie verlangen automatisierte, kontinuierlich laufende Experimente,
damit eine Regression der Widerstandsfähigkeit in der Woche
auffällt, in der sie eingeführt wird.

Immer nur Maschinen beenden. Klar erkennbare Abstürze sind der
einfache Fall, weil etwas sie bemerkt. Die Principles nennen auch
Softwarefehler wie fehlerhaft formatierte Antworten und Ereignisse
ohne Ausfall wie eine Verkehrsspitze oder Skalierung. Das SRE-Buch
ergänzt ein Backend, das Anfragen annimmt und nie antwortet. Das
kann bei langen Anfragefristen trotzdem ein Frontend
beeinträchtigen. Priorisieren Sie Variablen nach wahrscheinlicher
Auswirkung oder Häufigkeit.

Erkenntnisse ohne Folgen. Eine widerlegte Hypothese ist eine
benannte Schwäche. Geben Sie ihr im selben Tracker wie allen anderen
Aufgaben einen Verantwortlichen und eine Priorität. Wiederholen Sie
das Experiment nach Auslieferung der Korrektur, um zu bestätigen,
dass der Normalzustand nun bestehen bleibt.

Weiterführende Lektüre

  * Principles of Chaos Engineering — die Definition, die vier
Schritte eines Experiments und die fünf fortgeschrittenen
Prinzipien, zuletzt im März 2019 aktualisiert.

  * Chaos Monkey — Netflix’ Dokumentation seines Werkzeugs zum
Beenden von Instanzen, das Spinnaker benötigt.

  * Chaos Monkey: Verhalten über Spinnaker konfigurieren —
Häufigkeit der Beendigungen, Gruppierung und Ausnahmen mit
Standardwerten.

  * Chaos Monkey: Format der Konfigurationsdatei — jede Einstellung
und ihr Standardwert, einschließlich Leashed-Modus und
Arbeitszeitfenster.

  * Kaskadierende Ausfälle bewältigen — Kapitel 22 von Googles Buch
Site Reliability Engineering, einschließlich Tests bis zum Versagen
und Fehlertests in Produktion.

  * tc-netem(8) — die Linux-Handbuchseite des Netzwerkemulators zum
Einbringen von Verzögerung, Verlust und Beschädigung.

hDiese Seite im Web	URL:https://engineer.company/de/glossary/chaos-engineering/	engineer.company	70
