# Latenz

## Was es ist

Latenz ist die Zeit, die ein System braucht, um mit der Antwort zu beginnen: vom Absenden einer Anfrage durch den Client bis zur Rückkehr des ersten Antwortbytes. Ingenieure sprechen auch von Verzögerung, Lag oder, bei einem in beide Richtungen gemessenen Netzwerkpfad, von Round-Trip Time (RTT). Bei der Webperformance heißt dieselbe Idee Time to First Byte (TTFB). Die Antwortzeit ist die umfassendere Größe und reicht bis zum letzten Byte der Antwort.

Latenz wird leicht mit Durchsatz und Bandbreite verwechselt. Die drei beantworten unterschiedliche Fragen. Bandbreite gibt an, wie viele Bits eine Verbindung pro Sekunde transportieren kann. Durchsatz beschreibt, wie viel Arbeit ein System pro Sekunde abschließt. Latenz sagt, wie lange eine einzelne Arbeitseinheit wartet. Ein nächtlicher Stapelverarbeitungslauf kann hervorragenden Durchsatz bei schlechter Latenz haben; bei einem Chatserver kann es umgekehrt sein.

Jede Millisekunde stammt aus einer von wenigen Quellen:
* Signalausbreitung, also das Überwinden der Entfernung: Licht in Glasfaser legt ungefähr 200 km pro Millisekunde zurück. Eine Strecke von 1.000 km kostet deshalb für Hin- und Rückweg mindestens 10 ms, bevor irgendeine Software läuft;
* Übertragung, also die Bytes auf die Leitung zu bringen. Das fällt bei großen Datenmengen auf langsamen Verbindungen ins Gewicht;
* Warten in Warteschlangen, hinter anderer Arbeit in einem Routerpuffer, Thread-Pool, Verbindungspool oder an einer Sperre: die eine Komponente, die mit der Last wächst;
* Verarbeitung, die eigentliche Arbeit: die Abfrage, das Template, die Verschlüsselung;
* Protokoll-Roundtrips, das Gespräch vor dem ersten nützlichen Byte. Eine neue HTTPS-Verbindung über TCP braucht zuerst einen TCP-Handshake und einen TLS-Handshake. TLS 1.3 verkürzte seinen vollständigen Handshake auf einen einzigen Roundtrip.

Die IP-Performance-Metrics-Gruppe der IETF hat die Netzwerkvariante in RFC 2681 genau festgelegt: Die Roundtrip-Verzögerung reicht vom ersten gesendeten Bit eines Pakets bis zum letzten empfangenen Bit der Antwort. Zwei ihrer Entscheidungen lassen sich auf jeden Dienst übertragen. Eine nie eintreffende Antwort gilt als undefiniert, umgangssprachlich unendlich, statt stillschweigend aus der Stichprobe entfernt zu werden. Und die beschriebenen statistischen Kennzahlen sind Perzentile, Median und Minimum. Der RFC hält außerdem fest, dass das Minimum nur Signalausbreitung und Übertragung widerspiegelt, während alles darüber auf Überlastung hinweist. Diese Unterscheidung gilt für eine API ebenso wie für einen Pfad zwischen Routern.

Für eine einzelne Webanfrage kann curl die Wartezeit in ihre Abschnitte zerlegen:

```sh
curl -s -o /dev/null "$URL" -w '
dns        %{time_namelookup}
connect    %{time_connect}
tls        %{time_appconnect}
first byte %{time_starttransfer}
total      %{time_total}
'
```

Jeder Wert zählt Sekunden seit dem Start. Die Abstände dazwischen sind deshalb die jeweiligen Kosten: Namensauflösung, Verbindungsaufbau, TLS-Handshake und anschließend die eigene Denkzeit des Servers bis zum ersten Byte.

## Warum es wichtig ist

Latenz ist das, was ein Nutzer spürt; der Durchsatz spiegelt sich in der Serverrechnung wider. Ist eine Seite langsam, stellt sich die Frage, wofür Geld ausgegeben werden soll. Die fünf Komponenten oben brauchen unterschiedliche Lösungen. Vier davon zeigen, warum der Kauf von Hardware kein allgemeines Heilmittel ist. Entfernung lässt sich durch größere Nähe verringern: mit einem Cache, einem CDN oder einer Region nahe den Nutzern. Roundtrips verringert man, indem man weniger davon braucht: Verbindungen wiederverwenden, Abfragen bündeln, parallel abrufen. Verarbeitungszeit verringert man durch weniger Arbeit: mit einem Index oder einem besseren Abfrageplan. Zusätzliche Kapazität kann Wartezeiten in Warteschlangen verringern. Schnellere Prozessoren, mehr Speicher oder bessere Ein- und Ausgabe können auch die Verarbeitungszeit verkürzen, wenn diese Ressourcen den Engpass bilden. Ein größerer Server ist nicht automatisch schneller: Messen Sie vor der Hardwarewahl, wo die Zeit vergeht.

Mittelwerte lassen das Problem kleiner aussehen, als es ist, weil Nutzer die langsamen Ausreißer erleben. Eine Seite, die zehn Backend-Dienste parallel aufruft, wartet auf den langsamsten. Hat jeder Aufruf unabhängig von den anderen eine Wahrscheinlichkeit von 1 %, langsam zu sein, treffen 1 − 0,99¹⁰, also ungefähr 9,6 % der Seitenaufrufe, auf mindestens einen langsamen Aufruf. Eine seltene Verzögerung in den Teilen wird im Ganzen häufig.

Deshalb werden ernst gemeinte Ziele als Perzentile formuliert, etwa innerhalb eines Zeitraums von 30 Tagen 99 % der Anfragen binnen 300 ms zu beantworten, und deshalb ist das 99. Perzentil gewöhnlich der Wert, den man beobachten sollte. Der Median zeigt, wie sich der Dienst an einem guten Tag anfühlt. Die hohen Perzentile zeigen, wie er sich für die Kunden anfühlt, die kurz vor dem Absprung stehen.

## Wie es in der Praxis aussieht

Bei einer geografischen Kartenanwendung beeinträchtigte die Latenz beim Rendern von Kartenebenen und beim Abfragen von Standortdaten sowohl die Nutzer als auch die Zuverlässigkeit des Backends. Die Arbeit konzentrierte sich auf die Verarbeitung räumlicher Abfragen in einem Backend, das eine Altdatenbank mit Microsoft SQL Server verwendete. Der Wechsel zu PostgreSQL mit PostGIS senkte die durchschnittliche Antwortzeit von 2,5 Sekunden auf unter 250 Millisekunden, eine 10-fache Verbesserung der Leistung räumlicher Abfragen. Dahinter standen GiST- und SP-GiST-Indizes auf den räumlichen Spalten, mehr als 50 Millionen migrierte Datensätze und eine auf gleichzeitige Zugriffe abgestimmte Konfiguration. Die CPU-Last im Backend sank um 65 %.

Latenz begrenzt auch den Durchsatz, wenn mehrere Zugriffe um dieselbe Zeile konkurrieren. Eine Notiz über den genau einmaligen Verkauf der letzten Eintrittskarte gibt die Obergrenze für einen einzelnen Artikel näherungsweise als Anzahl der Verkäufe pro Sperrvorgang, geteilt durch die Haltedauer dieser Sperre, an. Alles Langsame innerhalb der Sperre senkt diese Grenze: Ein Zahlungsaufruf während des Haltens drückt sie auf ungefähr zwei Verkäufe pro Sekunde. Selbst eine Sicherheitsmaßnahme hat hier ihren Preis. Ein synchroner Standby in PostgreSQL fügt jedem Commit Latenz hinzu und verlängert damit genau die Haltedauer der Sperre, durch die bei dieser Obergrenze geteilt wird.

Um herauszufinden, wo die Zeit bleibt, zeichnet das eigene Monitoring einer Plattform API-Latenzen in der eigenen Datenbank auf und verfolgt Anfragen über OpenTelemetry. Eine langsame Anfrage lässt sich damit über Frontend, API und Datenbank hinweg verfolgen, statt ihre Ursache zu erraten.

## Wo es schiefgeht

Der Durchschnitt verbirgt die langsamen Ausreißer. Ein Mittelwert von 100 ms ist damit vereinbar, dass jede fünfzigste Anfrage drei Sekunden braucht. Erfassen Sie Latenzen als Histogramm und lesen Sie dessen Perzentile. Achten Sie dann auf die Zusammenführung: Die 99. Perzentile von fünf Servern lassen sich nicht zum 99. Perzentil des gesamten Bestands mitteln. Prometheus erläutert dies in seiner eigenen Dokumentation: Von einer Summary berechnete Quantile lassen sich nicht aggregieren. Die Klassen eines Histogramms können dagegen zuerst summiert und das Quantil anschließend bestimmt werden.

Die Zeitmessung beginnt am falschen Punkt. Ein Server, der erst ab dem Start seines Handlers misst, übersieht die Zeit im Lastverteiler, in der Accept-Warteschlange oder beim Warten auf eine Verbindung aus einem Pool. Lastgeneratoren, die vor jeder nächsten Anfrage auf die Antwort warten, senden ausgerechnet dann weniger Anfragen, wenn das System stockt. Das Stocken ist in den Ergebnissen deshalb kaum zu erkennen. Messen Sie auch vom Client aus und lassen Sie den Server seinen Anteil in einem standardisierten Header melden:

```http
Server-Timing: db;dur=53, app;dur=47.2
```

Das Gespräch ist zu kleinteilig. Eine Seite, die für jede Zeile einer Liste eine Abfrage ausführt, bezahlt je Zeile einen Roundtrip. Steht die Datenbank in einer anderen Region mit 30 ms pro Roundtrip, kosten hundert Zeilen drei Sekunden, bevor irgendeine Abfrage echte Arbeit erledigt. Eine Abfrage mit einem Join oder ein gebündelter Aufruf bezahlt die Entfernung nur einmal.

Wiederholungsversuche vervielfachen die Last. Ein Client, der nach einer Sekunde aufgibt und es dreimal erneut versucht, vervierfacht den Datenverkehr zu einem langsamen Server und macht ihn damit noch langsamer. Geben Sie jeder Anfrage eine Gesamtfrist, vergrößern Sie die Abstände zwischen Versuchen exponentiell mit einer zufälligen Streuung und begrenzen Sie die Zahl der Wiederholungsversuche.

## Weiterführende Lektüre
* RFC 2681: Metrik für die Roundtrip-Verzögerung für IPPM — bitgenau definierte Roundtrip-Verzögerung mit ausdrücklich berücksichtigten verlorenen Antworten und Perzentilen.
* RFC 7679: Metrik für die Einwegverzögerung für IP Performance Metrics — das Gegenstück für eine Richtung, veröffentlicht als Internetstandard.
* Server Timing — der W3C-Header, mit dem ein Server dem Browser mitteilt, wo seine Zeit geblieben ist.
* Histogramme und Summaries — warum sich Quantile einer Summary nicht zusammenführen lassen, die Klassen eines Histogramms dagegen schon.
* RFC 8446: TLS 1.3 — der Aufbau des Handshakes einschließlich des eingesparten Roundtrips.

=> /de/portfolio/improved-gis-map-performance-10x-on-postgresql/ Der Wechsel zu PostgreSQL mit PostGIS senkte die durchschnittliche Antwortzeit von 2,5 Sekunden auf unter 250 Millisekunden
=> /de/notes/selling-limited-stock-without-overselling/ genau einmaligen Verkauf der letzten Eintrittskarte
=> /de/portfolio/built-first-party-error-monitoring-and-tracing/ eigene Monitoring einer Plattform
=> https://www.rfc-editor.org/rfc/rfc2681 RFC 2681: Metrik für die Roundtrip-Verzögerung für IPPM
=> https://www.rfc-editor.org/rfc/rfc7679 RFC 7679: Metrik für die Einwegverzögerung für IP Performance Metrics
=> https://www.w3.org/TR/server-timing/ Server Timing
=> https://prometheus.io/docs/practices/histograms/ Histogramme und Summaries
=> https://www.rfc-editor.org/rfc/rfc8446 RFC 8446: TLS 1.3

=> https://engineer.company/de/glossary/latency/ Diese Seite im Web
