メトリクス

どのようなものか

メトリクスは、稼働中のサービスを測った値です。それぞれ、ある瞬間に採
り、時刻と少数のラベルを添えて保存し、一分、一日、一か月後に、同じ量
を再び読めるようにします。名前を付けた一つの量がメトリックで、時間に
沿う値の列として保存すると、時系列になります。OpenTelemetryは、ト
レース、ログと並ぶ信号に数えます。処理したリクエスト、使用中のメモ
リー、待ち行列の仕事数が、典型例です。

ほかの信号との違いは、集約です。ログは、イベントごとに一行を保ち、ト
レースは、一つのリクエストをシステム内で追います。メトリクスは、一定
の時間内の多数の測定を、回数、合計、現在値、区間ごとの分布といった、
少数の統計にまとめます。OpenTelemetryの文書は、結果を、集約された統
計情報と呼びます。強みでも限界でもあり、メトリクスが、直近一分で何件
失敗したかを示すのに対し、ログは、どれが失敗したかを示します。

OpenTelemetryとPrometheusは、少数の種類で一致します。適切なものを選
ぶことが、設計の大半です。

  *
カウンターは、車の走行距離計のように、累積し、増えるだけです。処理し
たリクエスト、送信バイト、見つけたエラーなどです。Prometheusは、プロ
セス再起動時のゼロへのリセットだけを例外として認めます。

  * OpenTelemetryの増減カウンターは、累積しつつ減ることもできます。
仕事が出入りする待ち行列の長さなどです。

  * ゲージは、同じ車の燃料計のように、読み取る瞬間の現在値です。使用
中のメモリー、温度、処理中のリクエストなどです。

  * ヒストグラムは、測定を区間に分け、件数と合計を保ち、一秒未満だっ
たリクエストの数などに答えます。

Prometheusには、プログラム内で分位点を計算するサマリーもあります。サ
マリーを意味のある形で統合できるとは限らないため、OpenTelemetryの
データモデルでは、旧来の型としてのみ残します。

Prometheusが取得するテキスト形式には、部品がまとまって現れます。説明
行、型の行、続いてラベルの組み合わせごとに一行で、名前、ラベル、値
と、任意で、基準時点からの経過時間をミリ秒で表す時刻が並びます。

```text
i# HELP http_requests_total The total number of HTTP requests.		engineer.company	70
i# TYPE http_requests_total counter		engineer.company	70
http_requests_total{method="post",code="200"} 1027 1395066363000
http_requests_total{method="post",code="400"} 3 1395066363000
```

なぜ重要なのか

メトリクスは、あらゆる対象で保つことができるほど低コストです。必要な
メモリーは、通信量ではなく、異なるラベルの組み合わせの数に従って増え
ます。OpenTelemetryの文書も、ログとの違いとして、そう明言します。十
億回増やしても、カウンターは一つの数値です。だから、リクエストの一部
ではなく全部を数え、今月と先月を比べるまで、長く記録を保てます。

議論を測定に変えます。ホストの容量が足りるか、リリースで応答が遅く
なったか、ディスクがいつ埋まるか。その問いには、誰かが尋ねる前から記
録していた時系列で答えられます。アラートも同じ数値で作ります。通知規
則とは、人を起こす価値があると誰かが判断した、メトリクス上の条件だか
らです。

出力するコードより長く残るので、形を正しく決める価値もあります。
Prometheusの命名ガイドは、一つのメトリックに一つの単位と一つの量を求
めます。ミリ秒やメガバイトではなく、秒やバイトなどの基本単位を使い、
単位は複数形の接尾辞にし、累積の数には`_total`を付けます。
`http_request_duration_seconds`や`process_cpu_seconds_total`という名
前なら、入っているものが、そのまま分かります。

合計をどう運ぶかも重要です。Prometheusは、累積値を報告するので、取得
が断続的に失敗しても、その欠測の影響はならされます。その代わり、送信
側には、ラベルの組み合わせの数に比例するメモリーが必要です。StatsD
は、前回の報告以降の変化である差分を送り、その負担をプロセスの外に移
します。

実際の活用例

自社の公開サービス用ホストは、メモリー512 MB、使用可能分が約464
MBの、一コアのマシンです。そこでは、メモリーが判断を決める材料になり
ました。報告は、要求されたときだけ、ホストを読んでMarkdownを作る七つ
のコマンドで、何も変更しません。その512
MBの一台で、onionサービスも動かせるかという問いには、意見ではなく、
記録した一日分の測定値で答えました。利用可能なメモリーは、464
MB中約310 MBを下回らず、スワップは2.6%、プロセッサーのアイドル時間は
99.7%でした。

その後、報告は数値の意味も示す必要がありました。計測できていない状態
と、正常なホストが同じページになっていたため、六つの読み取り専用の収
集器に、何を読まなかったかを明示させました。デーモンがログ形式を変え
たミラーも、誰も訪れなかったミラーも、同じゼロを出していました。しき
い値は、既にメトリクス報告が測った116サンプルに合わせ、観測した範囲
も境界の横に記録しました。報告は、違反、違反なし、測定がなく判定しな
い、の三つを区別します。各収集器は、ゼロの場合も、実行時間と、読めた
ファイルと読めなかったものの数など、見えていない範囲を報告します。し
きい値は日平均に適用するため、一分の急増が平均に埋もれることがありま
す。十五分ごとの切り替え機構は、実行のたびに利用可能メモリーとディス
クの空きを調べますが、検査の合間の短時間のしきい値逸脱は、なお見逃す
可能性があります。

最も役立つメトリクスは、ホストより、問題そのものから生まれることがよ
くあります。限られた在庫を売り越さずに販売するノートは、ロック待ち、
期限切れの確保、入口のゲートとデータベースの数の差を、一つのダッシュ
ボードに置きます。`available
+ held + sold =
total`の不変条件を定期的に調べ、図示し、ずれれば必ず当番を呼びます。
どの数値も、その販売がどう壊れるかを知ることから生まれます。

問題が起きるところ

メトリクスは、派手には壊れません。グラフは描かれ続けますが、気づかな
いうちに、数値は名前とは違うものを意味するようになります。

下がる値を、カウンターとして公開します。
Prometheusの型の説明は、実行中のプロセス数のように減るものには、カウ
ンターを使わず、ゲージを使うよう述べます。クエリー関数は、カウンター
の低下をすべて再起動とみなし、補正するため、意図して下がる値が、実際
にはない増加として現れます。

サービス間で単位がずれます。
一方がミリ秒、他方が秒で所要時間を出せば、比べるパネルには千倍のずれ
が生じます。命名ガイドは、一つのメトリックは一単位を表し、基本単位を
使うべきだと述べます。元で一度変換する方が、すべてのクエリーで差を覚
えるより安く済みます。

ラベルをまたいだ合計が、無意味になります。
命名ガイドの目安は、一つのメトリックの全ラベルにわたる合計や平均が、
有意義であることです。例として、複数の待ち行列の容量は、一つのメト
リックに入りますが、ある待ち行列の容量と現在の長さは、同じものにしま
せん。

未計測が、ゼロと読まれます。
入力を読まなくなった収集器は、ゼロか、行の欠落を残し、活動の少ないシ
ステムと見分けがつきません。OpenTelemetryのデータモデルは、値の記録
がない点を示すフラグを持ち、Prometheusの失効マーカーに相当します。
データがないこととゼロは、別の事実だからです。違う形で報告し、上の収
集器のように、「判定しない」に独自の結果を設けます。

期間が、急増を隠します。
ゲージは一瞬のサンプルで、OpenTelemetryのデータモデルは、各間隔の最
後の値だけを報告します。二つの採取時点の間の急増は、跡を残しません。
一分間、上限に張り付いても、日平均は同じように平滑化します。見つける
べき故障から期間を選び、両方が大事なら、低頻度の検査に加え、高頻度の
検査も続けます。

オーバーフローで、絞り込んだクエリーの数が少なくなります。
OpenTelemetry
SDKは、既定で、メトリックの各ストリームについて、異なる属性の組み合
わせを最大2,000まで追い、それ以上は、`otel.metric.overflow=true`の一
つの点にまとめます。総数は正しいままですが、値の種類が多い部分だけで
なく、組み合わせ全体を置き換えます。文書の例では、リクエストのカウン
ターに`url.path`と`success`があります。上限を超えると、
`success=false`のクエリーは少なく数え、それに基づくエラー率のアラー
トが出なくなる可能性があります。属性を、小さく既知の集合に保ち、オー
バーフローのマーカーを監視します。

参考資料

  * OpenTelemetryのメトリクス — 計測器の種類、集約、要素数の上限で
す。

  * OpenTelemetryのメトリクスデータモデル — ゲージ、合計、ヒストグラ
ム、時間的な集計の扱い、値が未記録のフラグです。

  * Prometheusのメトリック型 — カウンター、ゲージ、ヒストグラム、サ
マリーです。

  * Prometheusのメトリックとラベルの命名 — 基本単位、単位の接尾辞、
`_total`です。

  * Prometheusのヒストグラムとサマリー — 分位点を計算する場所と、結
合できるものです。

  * Prometheusの公開形式 — テキスト形式を、一行ずつ説明します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/metrics/	engineer.company	70
