監視

どのようなものか

監視は、稼働中のシステムが自身について出す報告を、継続して読むことで
す。誰かが決めた境界と報告を照らし合わせ、人に知らせる必要があるかを
判断する仕組みが動き続けます。GoogleのSite
Reliability
Engineeringは、システムの定量データをリアルタイムで収集、処理、集
約、表示することと定義します。届くリクエストの数と種類、失敗の数と仕
方、所要時間、各サーバーの稼働時間などです。目指すのは、出来事の順序
です。利用者が知らせる前に、システムが異常を知らせます。

データは二方向から得ます。ホワイトボックス監視は、メトリクス用エンド
ポイント、待ち行列の長さ、再試行回数など、システムが内部について公開
するものを読みます。誰かが影響を受ける前に、問題が育つ様子を見つけら
れます。ブラックボックス監視は、外に立ち、利用者のように振る舞いま
す。ページを要求し、名前を解決し、ログインを完了して、成功したかどう
かと所要時間を報告します。既に壊れたものだけを見るため、人を起こす信
頼できる根拠になります。

監視システムが保つものの大半は、時間に沿って採取する数値です。保存が
安く、しきい値と比べやすいからです。同じSREの章は、利用者に応えるシ
ステムの出発点として、四つを挙げます。レイテンシーは、リクエストの所
要時間、トラフィックは、届く需要の量、エラーは、失敗するリクエストの
割合、飽和度は、最も忙しい資源が容量の限界にどれだけ近いかです。

数値からは、二つの出力を作ります。ダッシュボードは、誰かが既に異変を
疑っているときに見るものです。アラートは、全員がほかの仕事をしている
ときに、割り込むものです。Prometheusの構成では、サーバーが規則を評価
し、発生したアラートをAlertmanagerがまとめ、重複を除き、送り先へ振り
分けます。

近い二つの概念と、混同しがちです。ログは、出来事ごとに一行ずつ、個々
のイベントを書き留め、アラートの後、原因を調べるために読みます。
OpenTelemetryが説明するオブザーバビリティは、外からシステムに新しい
問いを投げかけられる、より広い能力です。監視は、それより狭く、古い実
務です。先に決めた問いを継続して尋ね、その答えで人を呼び出せるように
します。

なぜ重要なのか

監視しなければ、被害を受けた人が気づいた時刻に、その人から問題を知る
ことになります。監視は、その時点を早め、対応できる人に知らせます。

足りない資源は、ソフトウェアより注意力です。呼び出しは、昼の仕事と夜
の睡眠を中断します。SREの本は、呼び出しが多過ぎると、人は流し読み
し、疑い、最後には無視し、雑音に隠れた本当の異常まで見逃すことがある
と、はっきり述べます。Prometheusの助言は、一文に収まります。「アラー
トは単純にし、症状に対して通知し、原因を絞り込める良いコンソールを用
意し、何もすべきことのない呼び出しを避ける」。人を起こせる規則はすべ
て、発生時には、その人が急いですべきことがあるという約束です。

中心となる判断は、利用者が何を感じるかです。85%埋まったディスクは原
因、失敗する購入手続きは症状です。症状に対して通知すれば、規則の数を
少なく保てます。機械の調子が悪くなる仕方より、利用者が困る仕方の方
が、はるかに少ないからです。原因は、ダッシュボードやチケットで扱い、
人を起こさず診断に役立てます。容量は、妥当な例外です。限界に近い資源
は、今日は誰も困らせなくても、近いうちに人の対応が必要になります。

次は、自分で運用するか、借りるかです。運用には、時系列の保存先、通知
の振り分け先を決める仕組み、その両方を健全に保つ人が要ります。外部が
運用するサービスなら、その仕事を任せられますが、送信量で課金され、新
しいホストは一台ごとに請求へ現れます。SREの本によれば、Googleでも、
10–12人のチームには、通常、監視を主な仕事とする人が一人か二人いま
す。どちらを選んでも、固有の保守が必要なシステムであり、見る対象に
合った規模にする必要があります。

実際の活用例

創業者の以前の二つの職務と、自社のホストに、同じ考えが大きく異なる規
模で現れます。

2015年から2022年までのインフラエンジニアの職務では、約1,000台のIPTV/
OTT配信サーバーを24/7で支援し、さらに多くの顧客所有システムも扱いま
した。顧客は中国、米国、ドイツにいました。三つのタイムゾーンに顧客が
いるため、静かな時刻はなく、現地の午前3時の問題は、別の場所の視聴
ピーク時に当たりました。停止になる前に、何かがずれ始めたことを見つけ
るのが、仕事の大部分でした。視聴者の画面に届く前に、問題へ対処しまし
た。この種のサービスでは、何も起きないことが成功に見えます。監視があ
れば、そう願うだけでなく、そうだと確かめられます。

2022年から2024年のデータベースエンジニアの職務では、PostgreSQL、MS
SQL、BigQueryの100個のデータベースに対する自動監視で、停止時間が50%
減りました。

自社の公開サービス用ホストの監視は、規模の対極にあります。512 MBの一
台で公開サービスを動かし、使えるメモリーは約464
MBです。設計上の判断は、すべてメモリーが決め手になります。報告は、
エージェント、パイプライン、ダッシュボードではなく、要求時に取得しま
す。七つのコマンドがホストを読み、Markdownを作り、何も変えず、要求さ
れたときだけ動きます。onionサービスの判断は、その方法を示します。問
いが出てから、一日、ホストのサンプルを採り、測定値で決めました。その
記録では、利用可能なメモリーの最小は464
MB中約310
MBで、スワップは2.6%、プロセッサーのアイドル時間は99.7%でした。この
規模の監視は、判断に必要になった時点で行う測定です。

問題が起きるところ

呼び出しが多過ぎて、誰も読みません。
障害対応のたびに規則が残り、自然に消える原因で鳴るものが増え、数か月
で、本当の呼び出しも一緒に流し読みされます。利用者が気づくものだけを
対象に、スタック内の一か所から人を呼び出し、残りはチケットの待ち行列
かダッシュボードへ送ります。さらに、通知を出す前に条件がしばらく続く
ことを求め、一分で消える揺らぎで人を起こさないようにします。

```yaml
groups:
    - name: checkout
      rules:
          - alert: CheckoutErrorsHigh
            expr: job:checkout_errors:ratio5m > 0.02
            for: 10m
            labels:
                severity: page
```

監視が止まり、その沈黙が正常と読まれます。
一度も通知を発しない規則と、一度も壊れないシステムは、同じように見え
ます。Prometheusサーバー、Alertmanager、メール中継のいずれかが止まれ
ば、すべての通知が同時に止まります。Prometheusは、監視自体を通知の対
象にし、さらに望ましくは、全経路を端から端まで試すよう勧めます。一つ
の検査で、規則から受信箱まで通知が届くと示せます。定期ジョブも同じ罠
に陥ります。止まったバックアップはエラーを出さず、痕跡を残さなくなる
だけです。最後の成功が古過ぎれば通知し、少なくとも二回分の実行を終え
られる余裕を持たせます。4時間ごとに動く、一時間のジョブなら、同プロ
ジェクトは10時間を提案します。

```promql
time() - backup_last_success_timestamp_seconds > 10 * 3600
```

一部の利用者は待っているのに、平均は正常です。
平均はグラフにしやすく、分布の遅い側を隠します。SREの本には、毎秒
1,000リクエストを受け、平均100
msのサービスでも、1%は簡単に5秒かかり得る例があります。ページが、そ
のようなサービスをいくつも使えば、一つのバックエンドの99パーセンタイ
ルが、フロントエンドの中央値になることがあります。すぐに失敗するリク
エストは、平均を下げるため、状況をさらに悪くします。所要時間を区間別
に記録し、高いパーセンタイルで通知し、失敗したリクエストは、成功と別
に追います。

内部の数値はすべて正常でも、利用者はサービスに届きません。
ホワイトボックスのメトリクスは、内部から来るため、内部の死角も共有し
ます。証明書の期限切れ、DNSレコードの破損、ファイアウォールの変更が
あっても、すべて健全に見える場合があります。システムのネットワーク外
のマシンから行うブラックボックス検査は、そうした見えない故障を捉え、
内部の監視がほかと一緒に止まっても、動き続けます。

参考資料

  * Prometheusの概要 —
メトリクスに基づく監視が集めるもの、構成する部品、個々のイベントの精
度に別のものが必要になる場合です。

  * アラート —
オンラインサービス、バッチジョブ、監視の監視まで、何を人の呼び出しに
つなげるかについての、Prometheusの助言です。

  * Alertmanager — 通知の重複を除き、まとめ、一時的に通知を止め、抑
制し、受信先へ振り分ける仕組みです。

  * 分散システムを監視する — GoogleのSite Reliability
Engineeringの第6章です。症状と原因、四つのゴールデンシグナル、遅い側
の分布を扱います。

  * オブザーバビリティ入門 —
OpenTelemetryによる信号、SLI、SLOの説明と、オブザーバビリティが監視
を超える範囲です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/monitoring/	engineer.company	70
