レイテンシー

どのようなものか

レイテンシーは、システムが応答を始めるまでの時間です。要求がクライア
ントを出てから、応答の最初のバイトが戻るまでを指します。技術者は、遅
延やラグとも呼び、ネットワークの経路を往復して測る場合は、往復時間
（RTT）と呼びます。ウェブ性能では、同じ考えを、最初のバイトまでの時
間（TTFB）と呼びます。応答時間は、それより広く、応答の最後のバイトま
でを含みます。

スループットや帯域幅と混同しやすいものですが、三つは、それぞれ違う問
いに答えます。帯域幅は、一秒に何ビットを回線が運べるかです。スルー
プットは、システムが一秒にどれだけの仕事を終えるかです。レイテンシー
は、一つの仕事がどれだけ待つかです。夜間のバッチ処理は、スループット
が優れていても、レイテンシーは悪いことがあり、チャットサーバーは、そ
の逆になり得ます。

待ち時間の各ミリ秒は、次のいずれかから生まれます。

  * 伝搬は、信号が距離を移動する時間です。光ファイバー中の光は、一ミ
リ秒に約200 km進むため、1,000
kmの経路は、ソフトウェアが動く前に、往復で少なくとも10 msかかりま
す。

  * 伝送は、バイト列を回線に送り出す時間です。低速な回線で、大きなペ
イロードを送る場合に重要です。

  *
待ち行列は、ルーターのバッファー、スレッドプール、接続プール、ロック
で、ほかの仕事の後ろに並ぶ時間です。負荷とともに増えるのは、この部分
です。

  * 処理は、クエリー、テンプレート、暗号化という、実際の仕事です。

  *
プロトコルの往復は、役に立つ最初のバイトより前の、やり取りです。TCP
を使う新しいHTTPS接続には、まずTCPハンドシェイクとTLSハンドシェイク
が必要で、TLS
1.3は、完全なハンドシェイクを一往復に減らしました。

IETFのIP性能計測グループは、RFC
2681で、ネットワークの場合を明確に定めました。往復遅延は、送ったパ
ケットの最初のビットから、受け取った応答の最後のビットまでです。この
定義の二つの決め方は、どのサービスにも当てはまります。応答が来なけれ
ば、標本から黙って外すのでなく、未定義、非公式には無限大として数えま
す。また、記述する統計は、パーセンタイル、中央値、最小値です。最小値
は、伝搬と伝送だけを反映し、それを超える部分は、混雑を示すとも述べま
す。この区別は、ルーター間の経路だけでなく、APIにも当てはまります。

一つのウェブ要求なら、curlで、待ち時間を段階に分けられます。

```sh
curl -s -o /dev/null "$URL" -w '
dns        %{time_namelookup}
connect    %{time_connect}
tls        %{time_appconnect}
first byte %{time_starttransfer}
total      %{time_total}
'
```

各値は、開始からの秒数です。そのため、値の差が、名前の検索、接続を開
く処理、TLSハンドシェイク、そして最初のバイトまでの、サーバー自身の
処理にかかった時間です。

なぜ重要なのか

利用者が感じるのはレイテンシーで、サーバー料金に表れるのはスループッ
トです。ページが遅ければ、どこに費用をかけるかを決めます。先ほどの五
つの部分には、それぞれ違う対策が必要です。そのうち四つを見ると、ハー
ドウェアの購入が万能ではないと分かります。距離には、キャッシュ、
CDN、利用者に近いリージョンなど、近くへ移す対策を取ります。往復に
は、接続の再利用、クエリーの一括処理、並列取得など、回数を減らす対策
を取ります。処理には、インデックスや、よりよい実行計画で、仕事を減ら
す対策を取ります。処理能力を増やすと、待ち行列を短くできる場合があり
ます。プロセッサーの高速化、メモリーの増設、入出力の改善も、それらが
ボトルネックなら処理時間を短縮できます。規模の大きいサーバーが必ず速
いとは限りません。ハードウェアを選ぶ前に、何に時間がかかっているかを
測ります。

平均値では、問題が実際より小さく見えます。利用者は、分布の遅い側にも
出会うためです。十のバックエンドサービスを並列に呼ぶページは、最も遅
いものを待ちます。各呼び出しが互いに独立して1%の確率で遅ければ、1
−
0.99¹⁰、約9.6%のページ読み込みが、少なくとも一つの遅い呼び出しに当た
ります。部分ではまれな遅延が、全体ではよくあるものになります。

そのため、厳密な目標は、30日間の要求の99%に300
ms以内で応答するなど、パーセンタイルで記述します。通常、見る価値のあ
る数値も、第99パーセンタイルです。中央値は、よい日の使い心地を示し、
高いパーセンタイルは、離れようとしている顧客の使い心地を示します。

実際の活用例

ある地図アプリケーションでは、地図レイヤーの描画と位置データの問い合
わせの遅延により、利用者にも、バックエンドの信頼性にも悪影響が出てい
ました。作業は、従来のMicrosoft
SQL
Serverデータベースを使うバックエンドで、空間クエリーの処理に焦点を当
てました。PostGISを備えたPostgreSQLへ移し、平均応答時間を2.5秒から
250ミリ秒未満へ短縮しました。空間クエリーの性能は、10倍に改善しまし
た。空間列にGiSTとSP-GiSTのインデックスを設け、5,000万件を超えるレ
コードを移行し、同時アクセスに向けて設定を調整しました。バックエンド
のCPU負荷は65%低下しました。

一つの行へのアクセスが競合する場合は、レイテンシーが、スループットの
上限も決めます。最後のチケットを、厳密に一度だけ売るというノートは、
一つの商品について、ロック一回で扱える販売数を、ロックの保持時間で
割った値が、おおよその上限だと説明します。ロック中の遅い処理は、どれ
も上限を下げます。保持したまま決済を呼べば、一秒に約二件の販売まで下
がります。ここでは、安全対策にも代償があります。PostgreSQLの同期スタ
ンバイは、すべてのコミットに遅延を加え、上限を求める式の分母である、
ロックの保持時間そのものを長くします。

時間を使う箇所を調べるため、ある基盤に組み込んだ独自の監視は、APIの
レイテンシーを自身のデータベースに記録し、OpenTelemetryで要求を追跡
します。そのため、遅い要求を、推測するのでなく、フロントエンド、
API、データベースを通して追えます。

問題が起きるところ

平均値が、遅い側の分布を隠します。 平均100
msでも、五十件に一件が三秒かかることは、あり得ます。レイテンシーをヒ
ストグラムに記録し、パーセンタイルを読みます。その後は、集計方法にも
注意します。五台のサーバーの第99パーセンタイルを平均しても、全体の第
99パーセンタイルにはなりません。Prometheusも、その文書で、サマリー
（summary）型で計算した分位数は集計できず、ヒストグラムの各バケット
の件数なら、先に合計してから分位数を求められると説明します。

計時を始める場所が違います。
ハンドラーの開始から測るサーバーは、ロードバランサーで過ごした時間、
接続の受け入れキューでの待ち時間、プールから接続を得るまでの待ち時間
を見落とします。各応答を待ってから次の要求を送る負荷生成器は、システ
ムの処理が滞る、まさにそのときに要求を減らすため、その停滞が結果にほ
とんど表れません。クライアントからも測り、サーバーには、標準ヘッダー
で、自分の受け持った時間を示させます。

```http
Server-Timing: db;dur=53, app;dur=47.2
```

やり取りの回数が多すぎます。
一覧の各行に一つのクエリーを実行するページは、一行ごとに一往復分の時
間がかかります。データベースが別のリージョンにあり、一往復30
msなら、百行だけで、クエリーが実際の仕事をする前に、三秒かかります。
結合を使う一つのクエリーか、一括の呼び出しなら、通信距離による待ち時
間は、一回分で済みます。

再試行が、負荷を増やします。
一秒で諦め、三回再試行するクライアントは、一台の遅いサーバーへの通信
を四倍にして、さらに遅くします。各要求に全体の期限を与え、試行間の待
ち時間は、ランダムな揺らぎを加えて指数的に増やし、再試行回数に上限を
設けます。

参考資料

  * RFC 2681：IPPMの往復遅延指標 — ビットまで定めた往復遅延です。応
答の損失と、パーセンタイルの扱いも明示します。

  * RFC 7679：IP性能計測の片方向遅延指標 — 一方向の対応する指標で、
Internet
Standardとして発行されています。

  * Server Timing — サーバーが、どの処理に時間を使ったかをブラウザー
に伝える、W3Cのヘッダーです。

  * ヒストグラムとサマリー — サマリーの分位数は集計できず、ヒストグ
ラムの各バケットの件数は集計できる理由です。

  * RFC 8446：TLS 1.3 — ハンドシェイクの設計と、それが減らした一往復
です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/latency/	engineer.company	70
