高可用性

どのようなものか

高可用性は、背後のマシン、ディスク、ネットワーク経路、プロセスの一つ
が故障しても、サービスが応答し続ける性質です。普通はクラスターを作り
ます。それぞれがサービスを動かせる複数のホスト、監視するソフトウェ
ア、故障したホストから正常なものへ仕事を移す手順を組み合わせます。
オープンソースのクラスター基盤PacemakerとCorosyncを保守する
ClusterLabsは、複数ホストのサービスを、起動、正常性確認から故障後の
復旧まで管理し、「停止時間を最小限にしながら、データの整合性を保つ」
ものと説明します。

この文の後半も、前半と同じくらい重要です。誤ったデータですぐ戻るサー
ビスは、高可用になったのではなく、危険になっただけです。

PostgreSQLの文書は、データベースを複数台で動かす理由を分けます。主系
の故障時に別のサーバーがすぐ引き継ぐのが、高可用性です。複数のコン
ピューターから同じデータを提供するのが、負荷分散です。仕組みを共有す
ることは多くても、問いは違います。高可用性は故障を乗り切るため、負荷
分散と拡張性は、より多くの仕事を処理するためです。

可用性自体は数値です。従来は、期間のうちサービスを使えた時間の割合で
測ります。GoogleのSRE書籍は、世界に分散して、ほぼ常にどこかが動く
サービスでは、代わりに、正常に答えたリクエストの割合で測ると説明しま
す。どちらも百分率で書き、9の数で呼びます。

どの高可用性の設計も、同じ少数の部品で組み立てます。

  * 冗長化。
故障するとサービスが止まる部分ごとに、二台目のホスト、待機データベー
ス、第二のネットワーク経路などの予備を置きます。Pacemakerは、稼働系
と待機系の組、複数の稼働ノードが予備一つを共有するN+1などに対応しま
す。

  * 検知。
故障を何かが見つける必要があります。PostgreSQLのフェイルオーバーの章
は、主系と待機系の間のハートビートで、接続と、主系が仕事を続けている
かを常に確認すると説明します。

  * フェイルオーバー。 仕事を移すことです。待機系の昇格、サービスIP
アドレスの移動、別のホストでのプロセス起動などです。

  * フェンシング。 別の場所で仕事を始める前に、故障ノードが本当に止
まったことを確実にします。

  * 予備の再構築。 切り替え後は、新しい予備を用意するまで、冗長性が
ありません。

高可用性は、バックアップでも災害復旧でもありません。拠点全体が動いて
いる間に起きる、一部の故障に備えます。バックアップは、クラスターが忠
実に全ノードへ複製する破損も含め、データの喪失や破損に備えます。災害
復旧は、拠点全体を失うときの計画です。

なぜ重要なのか

どのサービスにも、故障する部分があります。ハードウェアの破損、カーネ
ルパニック、仮想マシンの誤削除、ネットワーク分断による正常なノードの
孤立などです。Kubernetesは、これを非自発的な中断とし、修理や更新のた
めノードを空けるなど、誰かが計画する自発的な中断と並べます。冗長性が
なければ、予定したものも含め、すべて停止になります。一台のサーバーへ
パッチを当てるには、止めるしかないためです。

計画保守に対応できる点が、チームの最初に気付く利点であることもよくあ
ります。PostgreSQLの章は、主系と待機系を定期的に切り替えると有用とし
ます。順番に止めて保守でき、毎回、必要なときに切り替わるかも試せま
す。

9の数は時間へ換算できます。一年を365日、525,600分、一か月を30日、
43,200分とすると、計算は次のとおりです。

```text
可用性      年間の許容停止時間     30日間の許容停止時間
99%         3.65日                 7.2時間
99.9%       8.76時間               43.2分
99.95%      4.38時間               21.6分
99.99%      52.56分                4.32分
99.999%     約5.26分               約26秒
```

9を一つ増やすごとに許容時間は十分の一になり、費用はそれ以上に増えま
す。SRE書籍は、次の一段階の信頼性に、その前の百倍かかる場合があり、
ある点を超えると、利用者には区別できないと警告します。自身の信頼性が
99%の電話なら、背後が99.99%でも99.999%でも、違いは分かりません。その
ため、目標を下限でも上限でもあるとします。必要を大きく超えた可用性
は、ほかに回せた資金とエンジニアリングの時間を使っています。

目標は、サービスごとに行う事業上の決定です。サービスレベル目標が数値
を記し、高可用性は、それを実現可能にするエンジニアリングです。

実際の活用例

架空の予約サービスを考えます。ウェブ、アプリケーション、PostgreSQLの
三層を、別々のホストへ置きます。以下の数値は、すべて例のために作った
ものです。各層が99.9%の時間動き、全部が必要なら、可用性を掛け合わせ
ます。一層の二重化では、両方が同時に止まる必要があるため、逆の計算で
す。

```text
各99.9%の可用性を持つ三層を直列に接続:
  0.999 × 0.999 × 0.999 ≈ 0.997      年間約26時間停止

二つのコピーが独立して故障する場合、一層を二重化:
  1 − 0.001 × 0.001 = 0.999999       年間約0.5分停止
```

二つ目の計算を支えるのは、「独立して」という一語です。同じホスト、
ラック、スイッチ、クラウドゾーンの二つのコピーは、故障を共有するた
め、計算が成り立ちません。また式は、切り替えが瞬時で、常に成功すると
も仮定します。確かめられるのはテストだけです。

Kubernetesでは、トポロジー分散制約が、そのためにあります。文書が導入
の理由として挙げるのは、二つのPodまで減る可能性のあるワークロードで
す。同じノードへ置くと、一つの故障で全体が止まります。Podテンプレー
トの制約で、レプリカをゾーンへ分けます。

```yaml
topologySpreadConstraints:
    - maxSkew: 1
      topologyKey: topology.kubernetes.io/zone
      whenUnsatisfiable: DoNotSchedule
      labelSelector:
          matchLabels:
              app: booking
```

`DoNotSchedule`なら、ゾーンごとのPod数の差が一つを超える場所へ置く代
わりに、Podを未割り当てのままにします。計画保守には、第二の備えが必
要です。PodDisruptionBudgetは、自発的な中断で同時に止めてよい、アプ
リのレプリカ数を制限します。`kubectl
drain`は、Eviction APIへ一つずつ要求するので守りますが、Podを直接削
除すると、その制限を回避します。

```yaml
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
    name: booking-pdb
spec:
    maxUnavailable: 1
    selector:
        matchLabels:
            app: booking
```

文書は、レプリカ数の変化へ自動的に追随する`maxUnavailable`を、
`minAvailable`より勧めます。

データベースは状態を持つので、最も難しい層です。PostgreSQLは、読み取
り専用クエリを受けるホットスタンバイか、昇格後に初めて接続を受ける
ウォームスタンバイを保てます。同期と非同期の選択は、切り替えで何を
失ってよいかの選択です。同期レプリケーションでは、設定した数の同期ス
タンバイから、設定した段階までの確認を待ってから、コミットの成功を応
答します。この条件は`synchronous_standby_names`と
`synchronous_commit`で定めます。フェイルオーバーでは、成功応答済みの
データを保持するスタンバイを選ぶ必要があり、非同期のスタンバイはまだ
遅れている場合があります。前者の代償は速さです。文書は、ネットワーク
が遅いと、完全同期の構成で性能が半分を超えて低下し得ると記します。

PostgreSQL自身は、いつ切り替えるかを決めません。文書は、主系の故障を
検出し、待機系へ知らせるシステムソフトウェアは提供しないとします。IP
アドレスの移動とともに、外部のクラスター管理ソフトウェアの仕事です。
昇格自体は、`pg_ctl
promote`か関数`pg_promote()`の一段階です。計画が忘れるのは、その後で
す。旧主系がなくなると、新しい待機系を構築するまで一台だけで動きま
す。文書は、これを縮退状態と呼びます。大きいクラスターでは、
`pg_rewind`で再構築を速められます。

このサイトのフェイルオーバーと配信ログを備えるメールの事例は、外部依
存先へ同じ仕組みを適用します。一つのインターフェースの後ろに三事業者
を置き、切迫した中で設定を変える代わりに、自動で切り替えます。起動検
査が実際のメッセージを送り、ステージングと本番は、正常に送信できる事
業者がなければ起動を拒否します。事例は、ある午後に事業者が不調でも、
停止ではなく機能の低下した経路で済むようになり、代償は三つの連携を維
持することと記します。どの程度必要かは、別の決定です。サービスレベル
は、夜間のレポートと支払いサービスでは必要な数値が違うため、システム
ごとに、契約へ可用性を記すと説明します。

問題が起きるところ

同じ故障を共有する冗長化。
同じホスト、電源、スイッチ、クラウドゾーンの二つのコピーは、一緒に故
障します。予備ごとに依存先をたどり、偶然でなく、意図して障害領域を分
けます。

スプリットブレイン。
互いに連絡が取れなくても動くノードは、相手を故障と判断し、両側でサー
ビスを始め得ます。Pacemakerは、同じIPを両ホストで有効にすると、パ
ケットの行き先が予測不能で、データベースではデータの破損や食い違いに
つながると説明します。フェンシング、別名STONITH（Shoot
The Other Node In The
Head）が備えです。クラスターが制御する電源スイッチなどで、別の場所で
仕事を始める前に、故障ノードを切り離します。文書は、隔離装置がなけれ
ば応答しないノードから安全に復旧できず、その装置はクラスター自体の
ネットワークにも依存してはいけないとします。そのネットワークを失う
と、隔離手段も失うためです。

誰も試していない切り替え。
昇格したことのない待機系は、計画ではなく希望です。PostgreSQLの助言ど
おり、定期的に役割を切り替え、手順を書き、カオスエンジニアリングがほ
かの故障を試すように、予行演習します。

縮退状態を忘れます。
切り替え後は予備がありません。待機系の再構築が遅いか手作業なら、次の
どんな小さい故障も、停止になります。冗長性を戻すまでをインシデントの
一部とし、後回しにしません。

非同期で何も失わないと思います。
故障直前の、コミット済みトランザクションを失い得ます。データベースご
とに許容できるかを決め、データ所有者にも交換条件を見せます。

複製をバックアップと思います。
待機系は、正しい書き込みと同じく、誤った`DELETE`も忠実に複製します。
高可用性は動かし続けるもので、元のデータへ戻せるのは、バックアップだ
けです。

二つのノードだけで、仲裁役がありません。
Pacemakerは、停電でノードを失うのと、通信経路を失うのは、同じに見え
ると記します。二台なら、両側がそう見ます。Kubernetesは、スタック型の
構成で、少なくとも三つの制御プレーンノードを求めます。PostgreSQLも、
一部の誤った切り替えを防ぐ第三の監視サーバーに触れますが、増える複雑
さに見合うのは、注意深い設定と厳格なテストがある場合だけと警告しま
す。

誰にも見えない9へ支払います。
追加する9は、前より費用がかかり、利用者のネットワークや端末も、目標
より信頼性が低いものです。利用者と事業の必要から数値を選び、それに合
わせて構築します。

参考資料

  * ClusterLabs —
オープンソースの高可用性クラスター用ソフトウェア基盤と、管理するも
の、フェンシングが必要な理由の定義です。

  * 高可用性、負荷分散、複製 — 主系と待機系、同期と非同期の設計、費
用についてのPostgreSQLの章です。

  * フェイルオーバー — ハートビート、監視サーバー、STONITH、昇格、縮
退状態の説明です。

  * フェンシング — Pacemaker Explainedによる、スプリットブレイン、隔
離装置、フェンシングとクォーラムです。

  * リスクを受け入れる — 可用性の測り方、9ごとの費用、目標の選び方に
ついてのGoogle SRE書籍です。

  * 中断 — Kubernetesの自発的、非自発的中断と、PodDisruptionBudgetに
よる制限です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/high-availability/	engineer.company	70
