ロードバランサー

どのようなものか

ロードバランサーは、クライアントのリクエストを受け、同じ仕事をする複
数のサーバーに分配するサーバーです。一台が全負荷を背負わず、一台を
失ってもサービス全体が止まらないようにします。設定ファイルや図ではLB
と略すことが多く、その仕事を負荷分散と呼びます。クライアントから見え
るアドレスは、ロードバランサーの一つだけです。背後のサーバー群をプー
ルと呼び、nginxはupstreamグループ、HAProxyはbackendと呼びます。

リクエストごとに、二つを決めます。受け取れる状態のサーバーはどれか、
その中のどれへ送るかです。後者が負荷分散の方式です。ラウンドロビン
は、サーバーへ順番に渡し、ほかに設定しなければ、nginxはこれを使いま
す。最少接続数方式は、使用中の接続の最も少ないサーバーへ次を送り、所
要時間が大きく違うリクエスト間で負荷を均します。HAProxyのマニュアル
は、LDAPやSQLの長いセッションに勧め、HTTPの短いものには不向きとしま
す。ハッシュ方式は、クライアントのIPアドレスや要求したURLなどのキー
からサーバーを選び、同じキーを同じマシンへ送り続けます。nginxには、
無作為に二台を選び、負荷の低い方へ送れるランダム方式もあります。重み
は、大きいマシンを選びやすくします。nginxのガイドの例では、
`weight=3`の一台と、既定の重み1の二台に、五件のうち三件、一件、一件
を送ります。

通信をどこまで読むかも異なります。HAProxyの既定の`mode
tcp`は、クライアントとサーバーを全二重の接続で結び、レイヤー7の検査
を一切しません。TLSをそのまま通す場合や、SSH、SMTPに向きます。`mode
http`では、選ぶ前に各リクエストを解析し、プロトコル違反を拒否し、パ
スやヘッダーで送り先を変えられます。HTTP層では、クライアントとの接続
を終端し、サーバーへ自身の接続を開きます。そのため、通常は
`X-Forwarded-For`ヘッダーで元のアドレスを渡さない限り、アプリケー
ションが見るクライアントは、ロードバランサーだけです。ロードバラン
サーとリバースプロキシーが、同じプロセスであることが多いのも、このた
めです。nginxは両方で、ガイドも、負荷分散をリバースプロキシーの実装
の一部と説明します。

なぜ重要なのか

一台のサーバーには上限があります。サービスがそれを超えたら、大きいマ
シンを買う代わりに、二つ目、三つ目のコピーを加えられるのが、ロードバ
ランサーです。クライアントにプールの変更を知らせず、背後のコピーごと
に容量を増やせます。同じ構成で、保守も日常の作業になります。一台を振
り分けから外し、更新、確認、復帰を行い、次へ進みます。その間も、残る
サーバーが利用者に応答します。

サーバー一台の故障も、サービス停止ではなく、小さい出来事にできます。
応答しなくなったサーバーを選ばず、残るサーバーがその分を受け持ちま
す。ただし、その余力がある場合だけです。三台がそれぞれ容量の80%で動
いていれば、互いを補えません。一台を失うと、残る二台それぞれに、一台
分の120%の仕事がかかります。

アプリケーションの書き方も変わります。nginxのガイドが述べるとおり、
ラウンドロビンや最少接続数方式では、同じクライアントの連続するリクエ
ストが、別々のサーバーへ届くことがあります。ログインセッション、処理
待ちのアップロードファイル、利用者の買い物かごのキャッシュなど、サー
バーが自身のメモリーやディスクに保存したものは、次が別のサーバーに着
くと存在しません。すべてのサーバーから使えるデータベースや共有キャッ
シュに状態を置くか、各クライアントを一台に固定します。nginxの
`ip_hash`は、そのサーバーが利用不能な場合を除き、後者を行います。

最後に、ロードバランサー自身が、すべてのリクエストの通る一台になりま
す。アプリケーションサーバーが十台でも、ロードバランサーが一台なら、
単一障害点が移っただけです。本格的な構成では、ロードバランサーを一組
にし、二台の間で移せるアドレスを使うか、事業者が冗長構成を運用するマ
ネージドのロードバランサーを使います。

実際の活用例

次は、nginxが三台のアプリケーションサーバーへ分配し、四台目を予備に
する例です。

```nginx
upstream app {
    least_conn;
    server 10.0.0.11:8080 max_fails=3 fail_timeout=30s;
    server 10.0.0.12:8080 max_fails=3 fail_timeout=30s;
    server 10.0.0.13:8080 max_fails=3 fail_timeout=30s weight=2;
    server 10.0.0.20:8080 backup;
}

server {
    listen 80;
    location / {
        proxy_pass http://app;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_next_upstream error timeout http_502 http_503;
        proxy_next_upstream_tries 2;
        proxy_connect_timeout 2s;
    }
}
```

`least_conn`は、使用中の接続が最も少ないサーバーへ新しいリクエストを
送り、同数なら、重み付きラウンドロビンで選びます。三台目は大きいた
め、`weight=2`で二倍と数えます。`max_fails=3
fail_timeout=30s`は、30秒以内に三回失敗したサーバーを30秒間外し、そ
の後、実際のリクエストで再試行して、成功すれば戻す指定です。指定しな
ければ既定値が働き、10秒以内の一回の失敗で足ります。`backup`のサー
バーが受けるのは、主系の三台すべてが使えない間だけです。

`location`内の`proxy_next_upstream`は、接続エラー、タイムアウト、502
か503の応答で、別のサーバーへ渡すことを決めます。
`proxy_next_upstream_tries
2`は、一リクエストについての試行数を制限します。既定値0は、制限なし
です。二行の`proxy_set_header`は、要求されたホスト名を、通常なら置き
換わるupstream名`app`の代わりに保ち、クライアントのアドレスを
`X-Forwarded-For`へ加えます。これで、ロードバランサーでなく、実際の
訪問者を記録できます。`proxy_connect_timeout
2s`は、二秒で接続を受け付けないサーバーを諦めます。既定なら60秒待ち
ます。

これらは受動的なチェックです。nginxが異常を知るのは、実際のリクエス
トが失敗したときだけです。HAProxyは、独自の間隔でサーバーを探ること
もできます。backendの`option
httpchk GET
/healthz`に、`check`を付けた各`server`行を組み合わせると、既定では二
秒ごとに送ります。三回続けて失敗すれば停止扱い、二回成功すれば復帰で
す。`check`がなければ、ヘルスチェックを一切行わず、常に利用可能とみ
なします。

nginxは、ロードバランサーである前に、普通のウェブサーバーです。2003
年から2014年に、ApacheとNginxで管理した四十のウェブサイトを支えた二
つのうちの一つです。Ubuntu
Linuxのホスティングサーバーで動かし、実際の通信下でも安定するよう調
整し、保守しました。`backup`行に似た考えが、一段上の、サーバーが事業
者全体になる場所にもあります。三事業者間で切り替えるメールは、
SendGridを主系とし、SMTP2GOとAzure
Communication
Servicesを切り替え先として用意し、自動で切り替えます。事業者側で不調
が起きたある午後も、全面停止でなく、一部の経路の劣化にとどめました。

問題が起きるところ

すべてのリクエストに500を返すサーバーが、プールに残ります。
nginxが既定で失敗と数えるのは、通信エラー、タイムアウト、不正な応答
ヘッダーだけです。データベースに接続できず、何にでも500を返すアプリ
ケーションも、プロトコルに沿った応答を素早く返すため、通信の一部が届
き続けます。500、502、503、504、429は、`proxy_next_upstream`に列挙し
たときだけ失敗と数え、403と404は決して数えません。「このサーバーは壊
れている」を意味するコードを列挙し、ページを返すために必要なものを実
際に試すエンドポイントで、能動チェックも行います。

一つの遅いリクエストが、順番に全サーバーで動きます。
`timeout`は、既定の`proxy_next_upstream`に含まれ、
`proxy_read_timeout`の既定値は60秒です。生成に70秒かかる報告書は、一
台目でタイムアウトし、二台目へ渡ってまた失敗し、三台目へ移ります。全
サーバーが同じ仕事をする間、クライアントは三分待ちます。タイムアウト
は必ず失敗した試行と数えるため、`max_fails`の既定値1では、試行先に
なった各サーバーも10秒間、利用不能とされます。
`proxy_next_upstream_tries`と`proxy_next_upstream_timeout`で引き渡し
を制限します。遅いエンドポイントは、待ち時間の長い専用の`location`へ
分けるか、処理をリクエスト経路から外し、バックグラウンドジョブに移し
ます。

支払いが二回行われます。
nginxは、POST、LOCK、PATCHが一度サーバーに届いたら、既定では別のサー
バーへ再送しません。最初のサーバーが、すでに処理したかもしれないため
です。タイムアウトを解消するために`non_idempotent`を
`proxy_next_upstream`へ足すと、この保護を外します。最初が支払いを完
了しても、応答が遅ければ、次でも完了します。背後のすべてのエンドポイ
ントが、例えば冪等キーを受け、見たことのあるリクエストを繰り返さない
など、冪等でない限り、そのオプションは無効のままにします。

すべての訪問者が、ロードバランサーから来たように見えます。
例のヘッダーがなければ、アプリケーションは、各リクエストにロードバラ
ンサーのアドレスを記録し、IP単位の制限が、全利用者にまとめてかかりま
す。`X-Forwarded-For`を足す際にも罠があります。
`$proxy_add_x_forwarded_for`は、クライアントがすでに送った
`X-Forwarded-For`に、クライアントの接続元アドレスを付け足します。つ
まり、左側の値はクライアントが自由に書いたものです。自身のロードバラ
ンサーが足した値だけを信用します。ヘッダーを受け入れるのも、自身の
ロードバランサーのアドレスから届く場合だけです。

一つのオフィスが、一台に集まります。
nginxの`ip_hash`は、IPv4アドレスの最初の三オクテットでハッシュを計算
するため、そこを共有するクライアントは同じサーバーへ行きます。一つの
NATゲートウェイの背後の企業全体が、一クライアントとして到着します。
プールの変更は、逆の驚きも生みます。単純な`hash`では、追加や削除で大
半のキーが別のサーバーへ移り、固定されていた利用者は、元のサーバーに
あるものを失います。nginxの文書は、サーバーを`down`とし、`ip_hash`群
から削除しないよう勧め、変更時に少数のキーだけ動かす`hash
i... consistent`も提供します。さらによいのは、セッション状態をサー		engineer.company	70
iバーの外に置くことです。固定の必要がなくなります。		engineer.company	70

参考資料

  * nginxをHTTPロードバランサーとして使う —
基本の三方式、重み、セッション維持、受動ヘルスチェックを、それぞれ短
い設定で説明します。

  * ngx_http_upstream_moduleモジュール —
`server`行のすべての引数です。`max_fails`、`backup`、一台だけの場合
の例外、`hash`、`ip_hash`、`least_conn`、`random`の各方式を含みま
す。

  * ngx_http_proxy_moduleモジュール —
`proxy_next_upstream`、失敗した試行の定義、待ち時間、サーバーへ送る
際に設定するヘッダーです。

  * HAProxy 3.4設定マニュアル —
`balance`と各方式、TCPとHTTPのモード、`check`、`inter`、`rise`、
`fall`による能動ヘルスチェックです。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/load-balancer/	engineer.company	70
