Load Balancer

Was es ist

Ein Load Balancer ist ein Server, der Anfragen von Clients
entgegennimmt und auf einen Pool anderer Server verteilt, die alle
dieselbe Aufgabe erfüllen. So trägt kein einzelner Rechner die
gesamte Last, und sein Ausfall legt den Dienst nicht lahm. In
Konfigurationsdateien und Diagrammen wird er oft zu LB abgekürzt.
Seine Arbeit heißt Lastverteilung oder Load Balancing. Clients sehen
eine Adresse, die des Load Balancers. Die Server dahinter bilden
einen Pool, den nginx Upstream-Gruppe und HAProxy Backend nennt.

Jeder Load Balancer trifft für jede Anfrage zwei Entscheidungen:
Welche Server sind geeignet, sie zu empfangen, und welcher davon
bekommt sie? Die zweite Entscheidung ist das Verteilungsverfahren.
Round Robin verteilt Anfragen reihum und ist nginx' Verfahren, wenn
nichts anderes konfiguriert ist. Least Connections schickt die
nächste Anfrage an den Server mit den wenigsten aktiven
Verbindungen. Das gleicht die Last aus, wenn manche Anfragen
wesentlich länger dauern als andere. Das HAProxy-Handbuch empfiehlt
es für lange Sitzungen wie LDAP oder SQL und bezeichnet es als wenig
geeignet für kurze wie HTTP. Hashing macht aus einem Schlüssel, etwa
der IP-Adresse des Clients oder der angefragten URL, eine
Serverauswahl, sodass derselbe Schlüssel weiter auf demselben
Rechner landet. nginx bietet auch ein Zufallsverfahren, das zwei
Server zufällig auswählen und die Anfrage an den weniger
beschäftigten senden kann. Gewichte verschieben die Auswahl
zugunsten größerer Rechner: Im eigenen Beispiel des nginx-Leitfadens
erhalten ein Server mit `weight=3` und zwei mit dem Standardgewicht
1 jeweils drei, eine und eine von fünf Anfragen.

Load Balancer unterscheiden sich auch darin, wie viel vom
Datenverkehr sie lesen. HAProxys `mode tcp`, der Standard, verbindet
Client und Server in einer Vollduplexverbindung und nimmt überhaupt
keine Untersuchung auf Schicht 7 vor. Das eignet sich für direkt
durchgereichtes TLS, SSH oder SMTP. In `mode http` parst es jede
Anfrage vor der Serverwahl, lehnt Protokollverstöße ab und kann nach
Pfad oder Header weiterleiten. Ein Load Balancer auf HTTP-Ebene
beendet die Verbindung des Clients und öffnet eine eigene zum
Server. Die Anwendung sieht ihn deshalb als einzigen Client, sofern
er die ursprüngliche Adresse nicht weitergibt, gewöhnlich in einem
Header `X-Forwarded-For`. Deshalb sind Load Balancer und Reverse
Proxy so oft derselbe Prozess: nginx ist beides, und der eigene
Leitfaden beschreibt Lastverteilung als Teil seiner
Reverse-Proxy-Implementierung.

Warum es wichtig ist

Ein Server hat eine Obergrenze. Wächst ein Dienst darüber hinaus,
lässt ein Load Balancer ein Team eine zweite und dritte Kopie
hinzufügen, statt einen größeren Rechner zu kaufen. Jede Kopie
dahinter bringt zusätzliche Kapazität, ohne dass Clients von der
Änderung des Pools wissen müssen. Dieselbe Anordnung macht Wartung
zum gewöhnlichen Vorgang: einen Server aus der Verteilung nehmen,
aktualisieren, prüfen, wieder aufnehmen und beim nächsten
wiederholen, während die übrigen weiter Nutzer bedienen.

Sie macht auch aus einem Serverausfall ein kleineres Ereignis statt
eines Dienstausfalls. Antwortet ein Server nicht mehr, wählt der
Load Balancer ihn nicht mehr aus, und die übrigen übernehmen seinen
Anteil. Das funktioniert nur, wenn sie dafür Reserven haben. Drei
Server, die jeweils mit 80 % ihrer Kapazität laufen, können einander
nicht ersetzen. Fällt einer aus, trägt jeder der beiden übrigen eine
Last von 120 % seiner Kapazität.

Ein Load Balancer verändert, wie die Anwendung geschrieben werden
muss. Bei Round Robin oder Least Connections können
aufeinanderfolgende Anfragen desselben Clients laut nginx-Leitfaden
verschiedene Server erreichen. Alles, was ein Server zwischen
Anfragen in seinem eigenen Speicher oder auf seiner eigenen Platte
hält, fehlt, sobald die nächste Anfrage auf einem anderen landet:
etwa eine Anmeldesitzung, eine auf Verarbeitung wartende
hochgeladene Datei oder ein Cache des Warenkorbs eines Nutzers.
Entweder hält die Anwendung diesen Zustand dort, wo jeder Server ihn
erreicht, in einer Datenbank oder einem gemeinsamen Cache, oder der
Load Balancer bindet jeden Client an einen Server. Das tut nginx'
`ip_hash`, außer wenn dieser Server nicht verfügbar ist.

Zuletzt wird der Load Balancer selbst zum einen Rechner, durch den
jede Anfrage geht. Ein Pool mit zehn Anwendungsservern hinter einem
einzigen Load Balancer hat einen einzelnen Ausfallpunkt; er ist nur
umgezogen. Ein solider Aufbau betreibt den Load Balancer als Paar
mit einer zwischen beiden verschiebbaren Adresse oder verwendet
einen verwalteten Load Balancer, dessen Anbieter den redundanten
Betrieb übernimmt.

Wie es in der Praxis aussieht

Hier verteilt ein nginx-Server Anfragen auf drei Anwendungsserver,
mit einem vierten in Reserve:

```nginx
upstream app {
    least_conn;
    server 10.0.0.11:8080 max_fails=3 fail_timeout=30s;
    server 10.0.0.12:8080 max_fails=3 fail_timeout=30s;
    server 10.0.0.13:8080 max_fails=3 fail_timeout=30s weight=2;
    server 10.0.0.20:8080 backup;
}

server {
    listen 80;
    location / {
        proxy_pass http://app;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_next_upstream error timeout http_502 http_503;
        proxy_next_upstream_tries 2;
        proxy_connect_timeout 2s;
    }
}
```

`least_conn` schickt jede neue Anfrage an den Server mit den
wenigsten aktiven Verbindungen und löst Gleichstände per gewichtetem
Round Robin auf. Der dritte Server ist der größere Rechner;
`weight=2` zählt ihn deshalb doppelt. `max_fails=3 fail_timeout=30s`
bedeutet, dass drei fehlgeschlagene Versuche innerhalb von 30
Sekunden einen Server für 30 Sekunden aus dem Pool nehmen. Danach
versucht nginx es mit echten Anfragen erneut und nimmt ihn wieder
auf, wenn diese gelingen. Ohne diese Parameter gelten die
Standardwerte: Ein Fehler innerhalb von 10 Sekunden genügt. Der
Server mit `backup` erhält nur Anfragen, solange alle drei primären
Server nicht verfügbar sind.

In der `location` entscheidet `proxy_next_upstream`, wann eine
Anfrage an einen anderen Server weitergegeben wird: bei einem
Verbindungsfehler, einer Zeitüberschreitung oder einer Antwort mit
502 oder 503. `proxy_next_upstream_tries 2` begrenzt die Zahl der
Versuche für eine Anfrage; der Standard 0 bedeutet unbegrenzt. Die
beiden Zeilen mit `proxy_set_header` erhalten den vom Client
angefragten Hostnamen, den nginx sonst durch den Upstream-Namen
`app` ersetzen würde, und ergänzen die Clientadresse in
`X-Forwarded-For`. Die Anwendung kann damit echte Besucher statt des
Load Balancers protokollieren. `proxy_connect_timeout 2s` gibt bei
einem Server auf, der die Verbindung nicht innerhalb von zwei
Sekunden angenommen hat; standardmäßig würde er 60 Sekunden warten.

Diese Prüfungen sind passiv: nginx erfährt erst durch
fehlgeschlagene echte Anfragen, dass ein Server gestört ist. HAProxy
kann jeden Server auch nach eigenem Zeitplan prüfen. `option httpchk
GET /healthz` in einem Backend, zusammen mit `check` in jeder
`server`-Zeile, sendet diese Anfrage standardmäßig alle zwei
Sekunden. Drei Fehler in Folge markieren den Server als ausgefallen,
zwei Erfolge nehmen ihn wieder auf. Ohne `check` führt HAProxy keine
Zustandsprüfungen aus und behandelt den Server als immer verfügbar.

Bevor nginx ein Load Balancer ist, ist es ein gewöhnlicher
Webserver. Es ist einer der beiden hinter den vierzig auf Apache und
Nginx verwalteten Websites zwischen 2003 und 2014. Diese liefen auf
Hosting-Servern mit Ubuntu Linux und wurden abgestimmt und gepflegt,
um unter echtem Datenverkehr zuverlässig zu bleiben. Die Zeile mit
`backup` hat einen Verwandten eine Ebene darüber, wo die Server
ganze Anbieter sind. E-Mail mit Failover über drei Anbieter hält
SendGrid als primären Anbieter vor, dahinter SMTP2GO und Azure
Communication Services, wechselt automatisch zwischen ihnen und
machte aus dem schlechten Nachmittag eines Anbieters einen
beeinträchtigten Pfad statt eines Ausfalls.

Wo es schiefgeht

Ein Server, der jede Anfrage mit 500 beantwortet, bleibt im Pool.
Standardmäßig zählt nginx nur Kommunikationsfehler mit dem Server,
Zeitüberschreitungen und fehlerhafte Antwortheader als Fehlschläge.
Ein Server, dessen Anwendung die Datenbank verloren hat und überall
500 zurückgibt, antwortet schnell und höflich. Der Load Balancer
schickt ihm deshalb weiterhin einen Anteil des Datenverkehrs. Die
Antworten 500, 502, 503, 504 und 429 werden nur als Fehlschläge des
Servers gezählt, wenn sie in `proxy_next_upstream` aufgeführt sind;
403 und 404 zählen nie als Fehlschläge. Führen Sie die Codes auf,
die „dieser Server ist defekt“ bedeuten. Geben Sie den Servern eine
aktive Prüfung gegen einen Endpunkt, der die Komponenten nutzt, die
die Anwendung zum Ausliefern einer Seite benötigt.

Eine langsame Anfrage läuft nacheinander auf jedem Server. `timeout`
gehört zur Standardeinstellung von `proxy_next_upstream`, und
`proxy_read_timeout` beträgt standardmäßig 60 Sekunden. Ein Bericht,
dessen Erstellung 70 Sekunden dauert, läuft auf dem ersten Server in
eine Zeitüberschreitung, wird an den zweiten weitergegeben,
überschreitet dort die Zeit und geht an den dritten. Der Client
wartet damit drei Minuten, während jeder Server dieselbe Arbeit
erledigt. Eine Zeitüberschreitung zählt immer als fehlgeschlagener
Versuch. Beim Standardwert 1 für `max_fails` wird deshalb außerdem
jeder kontaktierte Server für 10 Sekunden als nicht verfügbar
markiert. Begrenzen Sie die Weitergaben mit
`proxy_next_upstream_tries` und `proxy_next_upstream_timeout`, geben
Sie dem langsamen Endpunkt eine eigene `location` mit längerer Frist
oder verschieben Sie die Arbeit aus dem Anfragepfad in eine
Hintergrundaufgabe.

Eine Zahlung wird zweimal ausgeführt. Standardmäßig weigert sich
nginx, eine bereits bei einem Server eingetroffene POST-, LOCK- oder
PATCH-Anfrage an einen anderen weiterzusenden, weil der erste Server
schon gehandelt haben könnte. Wer `non_idempotent` zu
`proxy_next_upstream` hinzufügt, um Zeitüberschreitungen
verschwinden zu lassen, entfernt diesen Schutz. Eine vom ersten
Server bereits abgeschlossene, aber zu langsam beantwortete Zahlung
wird beim zweiten noch einmal abgeschlossen. Lassen Sie die Option
aus, sofern nicht jeder Endpunkt dahinter idempotent ist, etwa weil
er einen Idempotenzschlüssel entgegennimmt und eine bereits gesehene
Anfrage nicht wiederholt.

Jeder Besucher scheint vom Load Balancer zu kommen. Ohne die Header
des Beispiels protokolliert die Anwendung dessen Adresse für jede
Anfrage. Jede Grenze je IP-Adresse gilt dann für alle Nutzer
zugleich. `X-Forwarded-For` hinzuzufügen bringt eine eigene Falle
mit. `$proxy_add_x_forwarded_for` hängt die Clientadresse an alles
an, was der Client bereits in `X-Forwarded-For` gesendet hat. Die
Einträge ganz links sind deshalb das, was der Client selbst
hineingeschrieben hat. Die Anwendung sollte nur dem von ihrem
eigenen Load Balancer ergänzten Eintrag vertrauen und den Header nur
von dessen Adresse akzeptieren.

Ein Büro landet auf einem Server. nginx' `ip_hash` bildet den Hash
aus den ersten drei Oktetten einer IPv4-Adresse. Alle Clients mit
denselben drei Oktetten landen deshalb auf demselben Server, und ein
ganzes Unternehmen hinter einem NAT-Gateway kommt als einzelner
Client an. Änderungen am Pool sorgen für die entgegengesetzte
Überraschung. Bei einfachem `hash` kann das Hinzufügen oder
Entfernen eines Servers die meisten Schlüssel auf einen anderen
Server verschieben. Jeder dadurch gebundene Nutzer verliert dann
das, was sein alter Server vorgehalten hat. Die nginx-Dokumentation
empfiehlt, einen Server als `down` zu markieren, statt ihn aus einer
`ip_hash`-Gruppe zu löschen. Sie bietet außerdem `hash ...
consistent`, das bei Änderungen am Pool nur wenige Schlüssel
verschiebt. Noch besser ist es, Sitzungszustand außerhalb der Server
zu halten; dann verliert die Bindung ihre Bedeutung.

Weiterführende Lektüre

  * nginx als HTTP-Load-Balancer verwenden — die drei grundlegenden
Verfahren, Gewichte, Sitzungsbindung und passive Zustandsprüfungen,
jeweils mit kurzer Konfiguration.

  * Modul ngx_http_upstream_module — jeder Parameter einer
`server`-Zeile, einschließlich `max_fails`, `backup` und der
Ausnahme für einen einzelnen Server, sowie die Verfahren `hash`,
`ip_hash`, `least_conn` und `random`.

  * Modul ngx_http_proxy_module — `proxy_next_upstream`, was als
fehlgeschlagener Versuch zählt, die Zeitgrenzen und die Header, die
nginx auf dem Weg zum Server setzt.

  * HAProxy 3.4: Konfigurationshandbuch — `balance` und seine
Algorithmen, TCP- und HTTP-Modus sowie aktive Zustandsprüfungen mit
`check`, `inter`, `rise` und `fall`.

hDiese Seite im Web	URL:https://engineer.company/de/glossary/load-balancer/	engineer.company	70
