Prometheus

どのようなものか

Prometheusは、独自の時系列データベースを中心に据えたオープンソースの
監視システムです。数秒ごとに監視対象のプログラムへHTTPで現在の数値を
問い合わせ、各値をタイムスタンプとともに保存し、蓄積したデータの検
索、グラフ化、アラート通知を可能にします。Prometheusという名前はサー
バー単体を指すことも、その周辺に育った小規模なコンポーネント群全体を
指すこともあり、どちらもよく使われます。

SoundCloudで2012年に開発が始まり、現在はCloud Native Computing
Foundationに属しています。2016年にKubernetesに次ぐ同財団2番目のプロ
ジェクトとして受け入れられ、2018年に卒業プロジェクトとして認定されま
した。2024年11月に発表されたPrometheus
3.0は、7年ぶりのメジャーリリースでした。コードの大部分はGoで書かれ、
Apache 2.0ライセンスで公開されています。

保存されるものはすべて時系列で、メトリクス名とラベルの組み合わせで識
別されます。ラベルは、計測対象のどのインスタンスを測ったかを示すキー
と値の組で、たとえば`api_http_requests_total{method="POST",
handler="/messages"}`のように指定します。その時系列の各サンプルは、
64ビット浮動小数点値またはネイティブヒストグラムに、ミリ秒単位のタイ
ムスタンプを添えたものです。どれか1つのラベルの値が違えば、別の時系
列です。この仕組みによりホスト、ルート、ステータスコードなどでデータ
を切り分けやすくなりますが、同時に過負荷も招きやすくなります。

プログラムは、コードに組み込むクライアントライブラリか、エクスポー
ターを通じて、通常は`/metrics`というHTTPエンドポイントで数値を公開し
ます。エクスポーターは、Linuxホストやデータベースなど、Prometheusが
直接計測機能を組み込めないシステムの情報を変換する小さなアダプターで
す。サーバーはサービスディスカバリーか固定リストで対象を見つけ、予定
に従って読み取ります。次の読み取り前に終了してしまうバッチジョブは、
代わりに独立したプッシュゲートウェイへデータを送れます。アラートルー
ルはサーバーで評価され、発火したアラートはAlertmanagerへ送られます。
Alertmanagerは重複を除き、グループにまとめ、通知の抑止を適用し、メー
ル、PagerDuty、OpsGenieなどの通知先へ振り分けます。

比較対象になるのは、GraphiteやStatsDの流れをくむプッシュ型の収集ツー
ル、InfluxDBのような汎用時系列データベース、ホステッド型のメトリクス
サービスなどです。表示画面には通常Grafanaが使われます。保存するのは
イベントではなく数値なので、ログ行やトレースは別の場所に置きます。プ
ロジェクト自身も、完全性より信頼性を優先すると明言しています。すべて
の件数が正確でなければならないリクエスト単位の課金は、別のシステムに
任せる仕事です。

なぜ重要なのか

Prometheusを選ぶ場面で問われるのは、メトリクス用データベースを自分た
ちで運用するかサービスを借りるか、そして自分たちで運用するならどの程
度の規模が必要かです。

運用にライセンス料はかかりません。費用になるのはマシンと、正常に動か
し続ける担当者の時間です。ホステッドサービスはその作業を引き受ける代
わりに、送ったデータ量に応じた料金を請求します。新しいラベルを追加す
るたびに、請求項目も増えることになります。数十台程度なら、自前のサー
バーの方が安く、簡単なことが一般的です。時系列が数百万に達し、担当者
を置くより料金を払いたいとチームが考える段階では、その計算が変わりま
す。

容量を計算すると、必要量は多くの人が想像するより小さく済みます。プロ
ジェクトのストレージ文書では、平均して1サンプルあたり1～2バイトとし
ています。1,000本の時系列を15秒ごとに読み取り、標準の保存期間である
15日間保持すると、86,400,000サンプル、ディスク上ではおよそ86～173
MBになります。不足しやすいのはディスクではなくメモリです。書き込み中
のブロックはメモリに置かれ、クラッシュへの備えとして先行書き込みログ
で保護されます。アクティブな時系列は、誰かが検索するかどうかにかかわ
らず、メモリを消費します。

各サーバーは、意図的に自己完結する設計です。ネットワークストレージに
頼らないため、監視しているインフラが崩れかける、まさに最も必要なとき
にも応答を続けられます。その代償として、ローカルストレージはクラスタ
化も複製もされません。高可用性を確保するには同じ対象を読み取る同一構
成のサーバーが2台必要で、数週間を超える履歴が必要なら、長期保存向け
のストレージへ`remote_write`でコピーを送ります。

送られてくるデータを受け取るのではなく、自分から取りに行くことにも実
用上の利点があります。問い合わせるのはサーバーなので、対象が応答しな
くなると気づき、`up`がゼロに下がったこととして記録できます。また、エ
ンジニアはブラウザーで同じ`/metrics`ページを開き、サーバーが見ている
ものをそのまま確認できます。そのため、グラフとアプリケーションの表示
の食い違いをすばやく検証できます。

実際の活用例

創業者の仕事では、ダッシュボードの背後でデータを集める役目として
Prometheusが登場します。1つはデータベースサーバー群の監視、もう1つは
オフィス全体が見ていた画面の第2版です。

データベースの事例では、PostgreSQL 14とMS SQL Server 2019を動かす10
台のUbuntu 20.04
LTS仮想サーバーが対象でした。PrometheusとGrafanaでCPU、メモリ、ディ
スクI/O、クエリ性能をリアルタイムに追い、自動バックアップ、ファイア
ウォールルール、独自のログ分析スクリプトも併用しました。10台全体の稼
働率は99.9%を維持しました。データベースホストは定期的な読み取りに向
いています。ディスクが埋まる、クエリが遅くなるといった問題の前兆とな
る数値は数時間かけて変わるため、数秒ごとのサンプルで利用者が気づくよ
りずっと前に捉えられるからです。

オフィスの画面は、自作の収集ツールからPrometheusへ進んだ過程を示して
います。創業者は以前の職務で、ある組織で初となるオブザーバビリティの
ダッシュボードを構築しました。最初は離れたLinuxサーバーからSSHで
CPU、RAM、ディスク、温度などを読み取り、Dockerコンテナーも同じ方法で
監視していました。第2版ではPrometheusとGrafanaで作り直し、DevOpsチー
ムとエンジニアリングチームで選んだCPU使用率、メモリ使用量、サービス
稼働時間、APIのレイテンシーを表示し、しきい値を超えたときに通知しま
した。ダッシュボードの導入後、チームによるインシデントの検知と解決は
40%速くなりました。数台のマシンならSSHでのポーリングはよい出発点で
す。同じ画面の対象を増やし続けられるのは、ラベルとクエリ言語を備えた
収集ツールを使うからです。

問題が起きるところ

重要な変更のないリリース後にメモリ使用量が増える。
誰かがユーザーID、メールアドレス、完全なURLパス、リクエストIDなど、
値の種類に上限のないラベルを追加しています。新しい値が現れるたびに時
系列が増え、数千だったものが今では数百万になっています。命名ガイド
は、まさにこの使い方を警告しています。ラベルの値は事前に分かる小さな
集合に限定し、リクエストごとの詳細はログやトレースへ送り、次のような
クエリで時系列を最も増やしているメトリクスを探します。

```promql
topk(10, count by (__name__) ({__name__=~".+"}))
```

起きてもいない急落や急増がグラフに出る。
カウンターは増える一方ですが、プロセスが再起動するとゼロに戻ります。
そのままの値をグラフにしたり、手作業で差を取ったりすると、再起動のた
びに急落や急増として現れます。`rate()`はリセットを考慮するため、読み
取り間隔の数倍にあたる期間について、先に変化率を求めてから合計しま
す。

```promql
sum by (job) (rate(http_requests_total{status=~"5.."}[5m]))
```

変化率を求める前にカウンターを合計する記録ルールは、合計の中にリセッ
トを隠してしまい、見かけだけの急落を再び生みます。

サービスが停止してもエラーのアラートは正常表示のまま。
エラー率がしきい値を超えた、といったルールは、存在する時系列に対して
評価されます。対象が消えると時系列も消え、式は空の結果を返します。最
も困る瞬間に、アラートが自動的に解消されてしまうのです。すべての読み
取り対象について`up
i== 0`で通知し、常に存在すべき時系列には`absent()`を使い、サーバー自		engineer.company	70
i身が動いているかどうかは外部から確認させます。		engineer.company	70

前の四半期の数値を求められたときには、もう残っていない。
ローカルストレージの標準保存期間は15日間で、1台のディスクに1つのコ
ピーしかありません。最近の動きを見る窓としては役立ちますが、アーカイ
ブとしては期待に応えられません。保存期間は慎重に延ばし、残す必要のあ
るものは`remote_write`で長期ストレージへ送り、金銭に関わる数値は正本
となるデータベースに保存します。

参考資料

  * Prometheusの概要 — プロジェクト自身による、Prometheusの定義、構
成要素、適さない用途の説明です。

  * データモデル — メトリクス名、ラベル、サンプルと、ラベル値が変わ
るたびに別の時系列になる理由を説明します。

  * メトリクスの種類 — カウンター、ゲージ、ヒストグラム、サマリー
と、それぞれで答えられる問いを扱います。

  * クエリの基本 — PromQLのセレクター、範囲ベクトル、式が返せる型を
説明します。

  * ストレージ — 2時間のブロック、先行書き込みログ、保存期間、
remote-writeインターフェースを扱います。

  * メトリクスとラベルの命名 — 基本単位、接尾辞`_total`、値の種類が
膨大なラベルへの警告を説明します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/prometheus/	engineer.company	70
