Hoppa till innehållet
Engineer
Meny
Design
Svenska

Engineer / Ordlista

Latens

väntan mellan frågan och den första delen av svaret

Vad det är

Latens är den tid det tar innan ett system börjar svara: från att en begäran lämnar klienten tills den första byten av svaret är tillbaka. Den kallas också fördröjning, och för en nätverksväg som mäts fram och tillbaka talar man om rundturstid, på engelska round-trip time (RTT). Inom webbprestanda går samma idé under namnet time to first byte (TTFB). Svarstiden är dess större syskon och räknas ända till den sista byten av svaret.

Latens förväxlas lätt med genomströmning och bandbredd, men de tre svarar på olika frågor. Bandbredd är hur många bitar en länk kan bära per sekund. Genomströmning är hur mycket arbete ett system hinner med per sekund. Latens är hur länge ett enskilt arbete väntar. Ett batchjobb som körs varje natt kan ha utmärkt genomströmning och usel latens, och en chattserver det omvända.

Varje millisekund av den kommer från något av några få ställen:

  • utbredning, när signalen färdas sträckan: ljus i optisk fiber hinner ungefär 200 km per millisekund, så en väg på 1 000 km kostar minst 10 ms fram och tillbaka innan någon programvara har kört;
  • överföring, att lägga ut byten på ledningen, vilket märks för stora nyttolaster på långsamma länkar;
  • köande, att vänta bakom annat arbete i en routers buffert, en trådpool, en anslutningspool eller ett lås, den enda delen som växer med lasten;
  • bearbetning, själva arbetet: databasfrågan, mallen, krypteringen;
  • rundturer i protokollet, samtalet innan den första användbara byten. En ny HTTPS-anslutning över TCP behöver först en TCP-handskakning och en TLS-handskakning, och TLS 1.3 kortade sin fullständiga handskakning till en enda rundtur.

IETF:s arbetsgrupp IP Performance Metrics spikade nätverksvarianten i RFC 2681: fördröjningen tur och retur löper från den första biten i ett paket som skickas till den sista biten i svaret som tas emot. Två av dess val går att föra över till vilken tjänst som helst. Ett svar som aldrig kommer räknas som odefinierat, informellt oändligt, i stället för att i tysthet lämnas utanför urvalet. Och den statistik som beskrivs är percentiler, medianen och minimum. RFC:n konstaterar också att minimum bara speglar utbredning och överföring, medan allt över minimum tyder på trängsel, en uppdelning som håller lika bra för ett API som för en väg mellan routrar.

För en enskild webbförfrågan delar curl upp väntan i sina steg:

curl -s -o /dev/null "$URL" -w '
dns        %{time_namelookup}
connect    %{time_connect}
tls        %{time_appconnect}
first byte %{time_starttransfer}
total      %{time_total}
'

Varje värde är sekunder sedan starten, så skillnaderna mellan dem är kostnaderna: att slå upp namnet, att öppna anslutningen, TLS-handskakningen och sedan serverns egen betänketid fram till den första byten.

Varför det spelar roll

Latensen är det som användaren känner; genomströmningen är det som serverräkningen speglar. När en sida är långsam gäller beslutet var pengarna ska läggas. De fem komponenterna ovan behöver olika åtgärder; fyra av dem visar varför köp av hårdvara inte är en allmän lösning. Avstånd minskas genom att flytta närmare: en cache, ett CDN, en region nära användarna. Fördröjningen från rundturer minskas genom att göra färre av dem: återanvända anslutningar, batcha databasfrågor och hämta parallellt. Bearbetningstiden kortas genom att göra mindre arbete: ett index, en bättre frågeplan. Mer kapacitet kan minska köandet; snabbare processorer, mer minne eller bättre I/O kan också korta bearbetningstiden när dessa resurser är flaskhalsen. En större server är inte automatiskt snabbare: mät var tiden går innan du väljer hårdvara.

Medelvärden får problemet att se mindre ut än det är, eftersom användarna möter svansen. En sida som anropar tio backend-tjänster parallellt väntar på den långsammaste. Om varje anrop oberoende av de andra har 1 % sannolikhet att vara långsamt, så träffar 1 − 0,99¹⁰, ca 9,6 % av sidladdningarna, minst ett långsamt anrop. En sällsynt fördröjning i delarna blir en vanlig fördröjning i helheten.

Därför skrivs seriösa mål i percentiler, t.ex. att 99 % av begärandena besvaras inom 300 ms under 30 dagar, och därför är den 99:e percentilen oftast den siffra som är värd att bevaka. Medianen säger hur tjänsten känns en bra dag; de höga percentilerna säger hur den känns för de kunder som är på väg att lämna.

Så ser det ut i praktiken

I en geografisk kartapplikation drabbade latensen vid rendering av kartlager och vid frågor mot platsdata både användarna och backendens tillförlitlighet. Arbetet inriktades på bearbetning av spatiala databasfrågor i en backend som använde en äldre Microsoft SQL Server-databas. Flytten till PostgreSQL med PostGIS sänkte den genomsnittliga svarstiden från 2,5 sekunder till under 250 millisekunder, en förbättring av prestandan för spatiala databasfrågor med en faktor 10. Bakom det låg GiST- och SP-GiST-index på de spatiala kolumnerna, över 50 miljoner migrerade poster och en konfiguration som finjusterats för samtidig åtkomst; CPU-belastningen i backend minskade med 65 %.

Latens sätter också ett tak för genomströmningen där många transaktioner slåss om samma rad. Anteckningen om låset på en het lagerrad anger taket för en vara till ungefär det antal försäljningar som ett lås bär, delat med hur länge låset hålls. Allt som är långsamt inuti låset sänker taket: ett betalningsanrop som görs medan låset hålls drar ned det till ungefär två försäljningar per sekund. Till och med en skyddsåtgärd har ett pris här. En synkron standby i PostgreSQL lägger till latens vid varje commit, och det förlänger precis den låshålltid som taket delas med.

Och för att hitta vart tiden tar vägen registrerar den egenbyggda övervakningen på en plattform API-latens i sin egen databas och spårar begäranden med OpenTelemetry, så att en långsam begäran kan följas genom frontenden, API:t och databasen i stället för att gissas fram.

Var det går fel

Medelvärdet döljer svansen. Ett medelvärde på 100 ms går ihop med att en begäran av femtio tar tre sekunder. Registrera latensen som ett histogram och läs av dess percentiler. Tänk sedan på hur de kombineras: den 99:e percentilen från fem servrar kan inte medelvärdesbildas till hela flottans 99:e percentil. Prometheus gör samma poäng i sin egen dokumentation, där kvantiler som beräknats av en summary inte kan aggregeras, medan histogrammets hinkar kan summeras först och kvantilen tas fram efteråt.

Tidtagningen startar på fel ställe. En server som mäter från det ögonblick då dess hanterare börjar missar tiden som en begäran tillbringade i lastbalanseraren, i acceptkön eller i väntan på en anslutning från poolen. Lastgeneratorer som väntar på varje svar innan de skickar nästa begäran skickar färre begäranden just när systemet står still, så stoppet syns knappt i resultaten. Mät från klienten också, och låt servern rapportera sin andel i en standardiserad header:

Server-Timing: db;dur=53, app;dur=47.2

Samtalet är för pratigt. En sida som kör en databasfråga per rad i en lista betalar en rundtur per rad. Med databasen i en annan region, 30 ms bort räknat tur och retur, kostar hundra rader tre sekunder innan någon fråga har gjort riktigt arbete. En enda fråga med en join, eller ett enda batchat anrop, betalar avståndet en gång.

Omförsök mångfaldigar lasten. En klient som ger upp efter en sekund och försöker igen tre gånger gör en långsam server till fyra gånger så mycket trafik, vilket gör den ännu långsammare. Ge varje begäran en total tidsgräns, vänta exponentiellt längre med slumpmässig spridning (jitter) mellan försöken och sätt ett tak för antalet omförsök.

Läs mer

Kontakt

Håller ni fortfarande på att reda ut vad ni behöver?

Berätta vad som inte fungerar eller vad ni försöker bygga. Vi säger vad det skulle kräva, ungefär vad det skulle kosta och om vi är rätt personer för uppgiften.

Från 1 400 DKK i timmen, exklusive moms — och mindre per timme vid en längre bokning.

welcome@engineer.company +45 50 10 61 84 Köpenhamn, Danmark