エラーバジェット

どのようなものか

エラーバジェットは、定めた期間にサービスが許容する失敗の量です。サー
ビスレベル目標から求めます。今四半期のリクエストの99.99%が成功すると
いう目標なら、残る0.01%がバジェットです。偶然の事故でも、意図して
取ったリスクでも、約束を破らずに失敗できるリクエストです。目標と同じ
単位、通常は失敗したリクエスト数で数え、利用者が失敗に遭遇した時点で
消費します。

考え方の出典は、Googleの_Site Reliability
Engineering_です。リスクを受け入れる章では、プロダクト管理側が目標を
決め、監視システムが中立の第三者として、実際に起きたことを測ります。
両者の差が、その四半期にまだ許容される失敗の余地です。製品開発とSRE
は、事前に一緒に、そのバジェットに合意します。同書の例は、厳しい側の
目標です。クエリーの99.999%に応答するサービスには、0.001%のバジェッ
トがあります。四半期のクエリーの0.0002%を失敗させる問題が一つ起きる
と、五分の一を使います。

誰の責任かは、バジェットに関係ありません。同書は、ネットワーク停止や
データセンターの障害も、不具合のあるリリースと同じようにバジェットを
使い、その後、四半期の残りのデプロイ回数を減らす場合があると明記しま
す。利用者が失敗の影響を受けたので、数えます。誰が対応するかは別の問
いで、問題が起きる前に合意した、文書の方針で決めます。

なぜ重要なのか

機能を届ける人と、サービスを動かし続ける人では、求めるものが違いま
す。共通の数字がなければ、交渉のうまい側が議論に勝ちます。SREの本
は、その判断を、政治、恐れ、希望のいずれにも頼るべきではないとし、
Google
SREの非公式の標語を挙げます。「希望は戦略ではない」。バジェットは、
議論を、双方が事前に受け入れた数字へ置き換えます。残っている間はリ
リースし、使い切ったら止め、試験や障害への強さを高める仕事へ力を移し
ます。同書は、残りが少なくなったらリリースの頻度を下げたり、ロール
バックしたりする、より緩やかな運用の形も説明します。脚注では、単純な
オン・オフ型を、バンバン制御と呼びます。

より興味深いのは、行動への影響です。余裕が大きければ、開発者は、頻繁
にデプロイしたり、実験を試したりと、リスクを取れます。同書によると、
ほぼ使い切ると、開発者自身が、試験を増やし、デプロイの頻度を落とすよ
う求めます。自分たちのリリースを止めたい人はいないためです。チーム
が、自分たちで歯止めをかけます。ただし、同書は条件を付けます。目標を
破ったときに、SREが本当にリリースを止める権限を持っていなければ、機
能しません。

バジェットが主に制御するのは、リリースです。障害の主因が、リリースだ
からです。_SRE
Workbook_の方針の例は、Googleの停止の約70%を、変更によるものとしま
す。バジェットは、どこへ力を注ぐかの指針になります。WorkbookのSLO実
装の章は、目標97%、四週間の許容失敗数が109,897件のバジェットを持つ
サービスを検討します。不具合のあるAPIリリースで、四時間、全リクエス
トが失敗したことで、14,066件、約13%を使いました。データベースサー
バーが故障し、バックアップからの復元に20時間かかったことで、推定
72,000件、65%を使いました。サーバー障害の方が、はるかに悪く見えま
す。しかし、例の会社では、サーバー障害は五年に一回なのに対し、不具合
のあるリリースは年に二、三回あります。平均すると、リリースが約二倍の
バジェットを使います。先に効果が出るのは、リリース手順の改善です。

一度も使わないバジェットにも、意味があります。同書によると、高すぎる
目標がもたらす、柔軟性の不足と革新の遅れという代償を示します。リリー
スに苦労するチームは、目標を緩め、バジェットを増やす選択もできます。

実際の活用例

消費には、合計だけでなく速度があります。Workbookのアラートの章は、そ
の速度をバーンレートと呼びます。目標に対して、どの速さでバジェットを
消費するかです。バーンレート1なら、対象期間の終わりに、ちょうど使い
切ります。30日間で99.9%の目標なら、同書の表は次のようになります。

```text
バーンレート   エラー率   使い切るまでの時間
1              0.1%       30日
2              0.2%       15日
10             1%         3日
1,000          100%       43分
```

エラーが0.1%を超えるたびに当番を呼ぶと、短い急増でも毎回、人を起こし
ます。それより、バーンレートで通知する方が適切です。Workbookは、複数
のバーンレートを、それぞれ長短二つの期間で、同時に調べるよう勧めま
す。99.9%の目標に対する出発点は、30日間のバジェットの2%を一時間で
使ったとき、バーンレート14.4、または5%を六時間で使ったとき、バーン
レート6で当番へ通知します。10%を三日で使ったとき、バーンレート1で
は、チケットを起票します。長い期間の十二分の一である短い期間があるた
め、問題が終わって間もなく、アラートも終わります。Workbookの例では、
エラーが止まると、五分後には短い期間の平均がしきい値を下回ります。一
時間の平均は、一時間ずっと上回ったままです。

Prometheusのルールファイルでは、当番へ通知する二つの条件は次のように
書けます。比率は、Workbookと同じ名前の記録ルールです。名前に含まれる
期間について、失敗したリクエストの割合を保持します。

```yaml
groups:
  - name: orders-error-budget
    rules:
      - alert: OrdersErrorBudgetBurn
        expr: |
          (
            job:slo_errors_per_request:ratio_rate1h{job="orders"}
              > (14.4 * 0.001)
            and
            job:slo_errors_per_request:ratio_rate5m{job="orders"}
              > (14.4 * 0.001)
          )
          or
          (
            job:slo_errors_per_request:ratio_rate6h{job="orders"}
              > (6 * 0.001)
            and
            job:slo_errors_per_request:ratio_rate30m{job="orders"}
              > (6 * 0.001)
          )
        labels:
          severity: page
```

不具合のあるデプロイを、このルールで追います。14:00にリリースが、注
文リクエストの2%を失敗させ始めます。バーンレートは20です。五分間の比
率は、四分以内に1.44%のしきい値を超えますが、一時間の比率が届くの
は、エラーが約43分続いてからです。そのため、当番への通知は14:43ごろ
に出ます。その時点で、月間バジェットをちょうど2%使っています。短い乱
れでは誰も起こさず、持続する消費は見逃さないという、ルールのトレード
オフです。14:50にロールバックすると、五分間の比率は二分以内にしきい
値を下回り、通知が終わります。一時間の比率だけなら、15:07ごろまで通
知を続けることになりました。

必要に見合った頻度で当番を呼ぶことは、2025年からの職務で手がけた自社
製のエラー監視とトレースでも、同じ課題です。急増やリグレッションを検
出し、通知にはクールダウン期間を設けるため、不具合のある一回のデプロ
イで、四十回も呼び出しません。通知ルールは、汎用のものではなく、その
プラットフォームに合わせました。11ある運用担当者向けビューの一つは、
サービスレベル目標を扱います。

問題が起きるところ

失敗を数えることと、責任を追及することを混同します。
利用者が感じる失敗は、すべてバジェットを使いますが、すべてが、自分た
ちのリリースを止める理由になるとは限りません。Workbookの方針の例は、
全社のネットワーク障害が原因の場合や、別チームのサービスが原因で、そ
のチームが自分たちのリリースを止めている場合、機能の仕事を続けられる
とします。自分たちのバグや手順で使い切ったなら、信頼性を優先します。
別チームが運用する依存先が原因の停止について、SLO実装の章は、続ける
考え方と、それでも止める考え方の二つを挙げ、止める方が利用者の満足に
つながるとします。事前に選び、方針へ書き、計算に異論が出たときの判断
者も決めます。方針の例では、CTOへ判断を委ねます。

エラーを、違う分類に入れます。
負荷テストの失敗や、侵入テスト担当者の拒否されたリクエストが、利用者
へ影響していないのにバジェットを使います。方針の例は、誤分類を、無駄
にバジェットが消える原因に挙げます。逆は、さらに悪い状態です。本物の
失敗を無害なものへ分類すると、利用者が困っていても、書類上は目標内に
収まります。同じ方針は、それが判明したら、信頼性の改善を必須としま
す。目標の対象でない通信を指標へ含めず、消費量がおかしく見えたインシ
デントの後には、分類を確かめます。

大きなインシデントの代価を払い、忘れます。
リリースの凍結で買えるのは時間であり、理解ではありません。方針の例
は、両者を結び付けます。単独のインシデントが四週間のバジェットの20%
を超えて使うと、最優先の対応項目を少なくとも一つ含む事後検証が必要で
す。同じ種類の停止が、四半期で20%を超えて使うなら、次の四半期の計画
へ載せる必要があります。

アラートが、決して発火しません。
99.9%の表から写したしきい値は、別の目標にそのまま使えません。
Workbookによると、可用性90%では、全面停止でも、一時間にバジェットの
1.4%しか使いません。一時間に2%で呼び出すルールは、停止中ずっと沈黙し
ます。反対の極端な例として、月間目標99.999%では、全面停止が26秒続く
とバジェットを使い切ります。多くの監視システムが、一つのサンプルを集
めるより早い時間です。期間としきい値を目標へ合わせます。非常に高い目
標には、設計だけが防御になるという、Workbookの結論を受け入れます。変
更をまず利用者の1%へ出せば、同じ失敗でも、使い切るまで43分残ります。

通信量が少なく、一件の失敗で当番を呼びます。
一時間に十件のリクエストなら、一件の失敗が、その一時間のエラー率10%
になります。Workbookによると、目標99.9%では、その一件で直ちに通知し
ます。30日間のバジェットの13.9%を使うためです。一か月全体でも、七件
の失敗しか許しません。Workbookの対処は、人工的な通信を作ること、監視
上は複数の小さいサービスを一つにまとめること、一件の失敗が持つ意味を
小さくするよう製品を変えることです。

サービスが満たせる前に、目標を上げます。
厳しい目標が必要だからと、すぐ採用すると、チームは常に緊急事態で、バ
ジェットも常に使い切ったままです。Workbookは、代わりに、将来目指す目
標を提案します。現在の目標と並べて測り、追跡しますが、サービスの準備
が整うまでは対応を求めないと、方針へ明記します。

参考資料

  * リスクを受け入れる — Googleの_Site Reliability
Engineering_の第3章です。データに基づいてリリースを判断する方法とし
て、エラーバジェットを紹介します。

  * SLOに基づくアラート — バーンレート、複数の期間を使うアラート、通
信量の少ないサービスについての、SRE
Workbookの説明です。

  * エラーバジェット方針の例 — リリースを止める条件、除外する停止、
事後検証を求める条件を含む、完全な方針です。

  * SLOの実装 — 目標からバジェットを計算し、信頼性への投資先を選ぶ方
法です。

  * アラートルール — 上で使うルールファイルの形式についての、
Prometheusの文書です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/error-budget/	engineer.company	70
