OpenTelemetry

どのようなものか

OpenTelemetryは、稼働中のソフトウェアからトレース、メトリクス、ログ
を生成し、それを保存、表示するシステムへ渡すための、オープンソースの
標準です。対応するライブラリーとツールもあります。多くのエンジニアは
OTelと呼びます。OpenTracingとOpenCensusという二つの取り組みが合流し
て生まれた、Cloud
Native Computing Foundationのプロジェクトです。

最も役立つのは、何を担当しないかを知ることです。OpenTelemetryは、オ
ブザーバビリティのバックエンドではありません。データを保管せず、ダッ
シュボードを描かず、アラートも送りません。そこは、Jaeger、
Prometheus、商用のプラットフォームが担います。「OpenTelemetryか
Prometheusか」という問いは、管と行き先を比べています。通常の答えは両
方で、データを生成する場所にOpenTelemetry、保管する場所にチームが選
んだバックエンドを置きます。

プロジェクトは、組み合わせて使う複数の部分からなります。

  * 仕様は、すべての言語にまたがるAPI、SDK、データを定めます。

  * OTLPは、gRPCかHTTPで、Protocol Buffersでエンコードしたテレメト
リーを運ぶプロトコルです。

  *
セマンティック規約は、共通のものに共通の名前を付けます。HTTPルートや
データベースの文に、Go、Java、Pythonで同じラベルを使えます。

  * 言語ごとのAPIとSDKがあり、主要なフレームワーク向けの計装ライブラ
リーと、自動計装も含みます。

  * Collectorは、テレメトリーを受け取り、処理し、次の宛先へ送る、別
のプロセスです。

運ぶ信号の中で、最も説明が必要なのはトレースです。一つのリクエスト
を、関わるすべてのサービスにわたって追います。各段階がスパンで、名
前、開始時刻、所要時間、属性の集合、それを発生させたスパンの識別情報
を持ちます。次のサービスへ移ると、その識別情報をヘッダーで運びます。
既定では、W3C
Trace Contextが定めるものです。

```text
traceparent: 00-a0892f3577b34da6a3ce929d0e0e4736-f03067aa0ba902b7-01
```

四つのフィールドは、形式のバージョン、リクエストの全スパンが共有する
トレースID、呼び出し元のスパンID、フラグの集合です。最後が`01`なら、
そのトレースがサンプリング対象であることを示します。メトリクスとログ
が全体像を補い、第四の信号Baggageは、キーと値からなる小さな情報をリ
クエストとともに運び、三ホップ先のサービスでも見られるようにします。

なぜ重要なのか

オブザーバビリティでは、ストレージが目に見えるコストです。長く付きま
とうのは計装です。全サービス、全言語に呼び出しを加え、コードの変化に
合わせて保守する人が必要です。ベンダーごとにエージェントとAPIがあっ
た時代は、ベンダーを変えると、すべてやり直しでした。OpenTelemetryで
は、一つのAPIを呼び、バックエンド選びは設定へ移します。SDK内のエクス
ポーターか、Collectorのルートで決めます。プロジェクトは、システムが
生成するデータは運用者に属するという原則を、明確に掲げています。

その所有権は、契約だけでなく、実務上も意味があります。Collectorは、
アプリケーションとバックエンドの間にあります。外へ出す前に、データを
フィルタリング、サンプリングし、属性名を変えたり属性を取り除いたりす
る場所になり、移行中は、同じ流れを二つのバックエンドへ送れます。ベン
ダーの変更は、百のサービスでなく、Collectorの設定を変える仕事になり
ます。

計画すべきコストは量です。一つのリクエストで数十のスパンが生まれる場
合があり、実際のトラフィックでは、すべて保管する料金が、監視対象の
サービスの費用を超えることもあります。SDKの既定のサンプラー
`ParentBased(root=AlwaysOn)`は、新しいトレースをすべて採用し、それ以
外は呼び出し元の判断に従うため、初期設定ではすべて残ります。どれだけ
残すかは、チームが意図して決めることです。

成熟度は、信号と、言語ごとに違います。トレース、メトリクス、ログの
OTLPは安定していますが、各言語のSDKは、それぞれの速さで進みます。プ
ロジェクトの実装状況のページに、各SDKの段階が示されています。あまり
一般的でない言語のサービスに採用する前に読みます。

常に割に合うわけでもありません。構造化ログと少数のメトリクスがある単
一のアプリケーションでは、分散トレーシングによる利点は小さいもので
す。リクエストがプロセスの境界を越え、フロントエンド、API、キュー、
データベースを通り、「時間はどこに消えたか」に答えるのに会議が必要に
なると、OpenTelemetryの導入がコストに見合うようになります。

実際の活用例

あるプラットフォームでは、監視を買わずに構築し、そのトレーシング側を
OpenTelemetryが担います。OTLPで、遅いリクエストを、フロントエンド、
API、データベースにまたがって追います。推測で調べるのではありませ
ん。並行して、errmonサービスと取り込みサービスからなる、自前のエラー
パイプラインも動いています。保存前にペイロードを無害化し、エラーを繰
り返す問題にまとめ、急増とリグレッションを検知します。一度の悪いデプ
ロイで担当者へ四十回も通知しないよう、通知の休止時間を設け、ミニファ
イされたフロントエンドのスタックトレースのシンボルを解決し、パイプラ
イン自体が動いていることを証明する、テスト用に生成したハートビートも
動かします。

結果は、エラーイベント、エラーグループ、受信箱、APIレイテンシー、ス
タックのサンプルとして、プラットフォーム自身のデータベースに入りま
す。運用者は、そのデータに対する11のビューを使い、一つはサービスレベ
ル目標用です。ページは、代償も明記します。構築には実際に時間がかか
り、保守対象も一つ増え、市販のエラー追跡ツールなら、その日の午後には
動いていたはずです。その代わり、機微なデータはプラットフォーム内に残
ります。アラートの規則も、一般的なものではなく、このプラットフォーム
に合わせて書きました。

問題が起きるところ

境界でトレースが切れます。
HTTP呼び出しでは、計装ライブラリーが両側でヘッダーを読み書きするた
め、コンテキストを簡単に引き継げます。メッセージキュー、定期ジョブ、
未知のヘッダーを取り除くプロキシでは、手でコンテキストを運ばなけれ
ば、連鎖が切れます。トレースが二つになり、遅い側と、原因になったリク
エストが、無関係に見えます。メッセージのメタデータにコンテキストを入
れ、全サービスが同じプロパゲーターを使うかを確認します。

属性が漏れるか、爆発的に増えます。
スパンの属性は簡単に足せますが、最も入れやすい値が、間違ったもので
す。メールアドレス、クエリー文字列にトークンを含む完全なURL、リテラ
ル値を残したSQLなどです。メトリクスでは、カーディナリティーが危険で
す。利用者IDのように、異なる値が何百万もある属性は、時系列の数と料金
を膨らませます。セマンティック規約に従い、メトリクスに識別子を入れ
ず、第二の防御として、Collectorで機微な内容を除きます。

偶然に任せてサンプリングします。
ヘッドサンプリングは、リクエストの開始時に、遅いか失敗するかが分かる
前に決めます。トレースを1%残すと、まれな遅いものも約1%しか残りませ
ん。テールサンプリングは、トレースのスパンをまとめて見てから決め、す
べてのエラーと、すべての遅いリクエストを残せます。ただし、その処理を
行う構成要素は、待っている間、全データを保持しなければなりません。独
自の容量計画と監視が必要な、状態を持つサービスです。

パイプラインを、無条件に信じます。
OTLPの到達確認は、一ホップずつで、エンドツーエンドの配信は範囲外で
す。Collectorがメモリー不足になったり、エクスポートのキューで遅れた
りすると、テレメトリーを捨てます。それでも、送信側のアプリケーション
は正常のように動き続けます。Collector自身のメトリクスを監視し、複数
動かし、トレースの空白を、単に通信の少ない時間帯とは見なさず、原因を
調べるべき不具合として扱います。

参考資料

  * OpenTelemetryとは — プロジェクト自身の定義、構成要素、意図して対
象にしないことです。

  * OTLP仕様 — 転送、エンコード、圧縮、到達確認を定める通信プロトコ
ルです。

  * Trace Context — `traceparent`ヘッダーの基になるW3C勧告です。

  * コンテキスト伝播 — プロセスの境界を越え、トレースがリクエストを
追う仕組みです。

  * セマンティック規約 — 属性、メトリクス、リソースの共通名です。

  * サンプリング — ヘッドとテールのサンプリング、および各方式の運用
コストです。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/opentelemetry/	engineer.company	70
