Grafana

どのようなものか

Grafanaは、ほかのシステムに保存した数値をダッシュボードにします。
Prometheus、Loki、PostgreSQL、MySQLなどのデータソースへクエリを送
り、返ったものを時系列グラフ、表、ゲージ、ヒートマップで描き、設定し
た境界を値が超えるとアラートを出します。公式文書は「保存先がどこで
あっても」、メトリクス、ログ、トレースのクエリ、可視化、アラート、探
索を行うソフトウェアと説明します。原文で最後の四語を占める、この保存
先を問わない表現に、設計の中心があります。

画面のテレメトリーデータは、収集した場所に置いたままです。ダッシュ
ボードの読み込みや更新のたびに、各パネルが150を超えるデータソースプ
ラグインのいずれかを使い、必要な部分を取得します。Grafana自体が保持
するのは、ダッシュボード、フォルダー、利用者、権限、アラート規則とい
う、自身の設定だけです。小さいデータベースに保存し、既定はバイナリー
に組み込まれたSQLiteで、本番にはMySQLかPostgreSQLを推奨します。ダッ
シュボードはJSON文書です。行に並ぶ各パネルは、クエリと描画方法の選択
からなり、上部の変数によって、ドロップダウンからホスト、環境、サービ
スを切り替えて、一つの画面を使い回せます。

開発元のGrafana
Labsは、ログ用のLoki、トレース用のTempo、Prometheusの長期保存用の
Mimirも開発しています。まとめてGrafanaスタックとよく呼びます。2021年
4月20日、Grafana、Loki、TempoはApache
2.0ライセンスからAGPLv3へ移りました。Grafanaには、オープンソース版、
商用ライセンスのGrafana
Enterprise、Grafana Labsがホストして運用するGrafana Cloudがありま
す。

比較されるのは普通、Elasticsearchの前で同じ役割を担うKibana、
Prometheusに組み込まれた式ブラウザー、そして保存と画面を一製品で売
る、運用込みの可観測性スイートです。MetabaseやPower
BIなどのBIツールも同じデータベースを読めますが、人がじっくり検討する
レポート向けです。Grafanaは数秒ごとに更新する画面向けに作っていま
す。

なぜ重要なのか

導入そのものは簡単です。小さいマシンで動き、チームがすでに持つデータ
ベースへ接続できます。その価値を左右する決定は、後にあります。画面の
対象者、数十個になったダッシュボードの管理方法、そして動かす場所で
す。

表示するだけなので、採用してもデータを移しません。Prometheus、
PostgreSQL、ログ保存先はそのままにでき、後で表示層を交換しても、一つ
の系列さえ移行する必要はありません。そのため、乗り換えを難しくする依
存関係も請求も、データソース側にあります。保存と表示をまとめて売るス
イートは逆で、請求もログインも一つになる代わりに、データをほかへ持ち
出しにくくなります。

画面を形作るのは、道具よりも対象者です。当番のエンジニアは、「異常が
あるか、あるならどこか」が一目で分かり、詳細へ進めるページを求めま
す。違う仕事の人がいる部屋では、少数の大きいパネル、分かりやすい題
名、気にすべき時点を示す閾値の線が必要です。同じGrafanaでも別々の
ダッシュボードで両方に応えられますが、一画面で兼ねようとすると、どち
らにも役立たなくなりがちです。

二つ目の決定は、ダッシュボードの管理方法です。Grafanaはディスク上の
JSONファイルから読み込み、フォルダーの変更を監視できます。公式文書は
これをプロビジョニングと呼びます。版管理に入れれば、レビュー、履歴、
元へ戻す方法が得られ、新しい環境でも、誰かが画面をクリックして設定せ
ずに、同じものを使えます。代償として、変更の方法はブラウザーでの編集
ではなくなり、チーム全体で受け入れる必要があります。

最後は、ライセンスと実行場所です。AGPLv3では、Grafanaを変更し、その
変更版をほかの人にネットワーク越しに使わせるなら、その利用者がソース
を入手できるようにする必要があります。未変更のGrafanaを自社の従業員
向けに動かすチームと、修正したものを製品へ組み込んで出荷するベンダー
では、立場が大きく違い、後者は法律家とライセンスを確認すべきです。自
社運用は、二つ目のインスタンスが必要になるまでは単一バイナリーで済み
ます。その後は、各インスタンスでMySQLかPostgreSQLを共有します。この
仕事をGrafana
Labsへ任せる選択がGrafana Cloudです。

実際の活用例

自社の仕事にGrafanaが登場する二つの事例は、どちらも、Prometheusを背
後に置き、人が見る部分をGrafanaが担います。

2022年から2024年のインフラエンジニアとしての仕事では、システムの状態
をまとめて見る場所がなく、利用者より後に問題を知るチームが出発点でし
た。GrafanaとPrometheusの監視ダッシュボードで、その状況を見られるよ
うにしました。主要サービスに計測を組み込み、動きが多く見えるかどうか
ではなく、意味があるかどうかでメトリクスを選びました。閾値を設定し、
対処の時間がまだあるうちに、チームの目に入る場所でアラートを出しまし
た。問題が大きくなる前に見つかるようになり、信頼性が向上し、後追いの
火消しから先回りの対処へ移りました。

もう一つは、さまざまな職種の人向けでした。オフィスの大型テレビに表示
するダッシュボードは、技術職にも、それ以外の同僚にも向けたものです。
GrafanaとPrometheusによる第二版では、DevOpsとエンジニアリングのチー
ムと選んだメトリクスを表示しました。複数システムの性能値を取り込む
データパイプラインからデータを供給し、閾値を超えるとアラートを出しま
す。チームはインシデントを40%速く検出、解決できるようになり、オフィ
ス全体で数字を目にすることで、システムの健全性を皆で担うようになりま
した。

このような壁面画面は、クエリを編集しない人たちが、部屋の反対側から読
みます。少数の大きいパネル、題名の中の単位、誰かが動くべきときだけ変
わる色が有効です。どの選択も、Grafanaはダッシュボードの作り手に委ね
ます。

問題が起きるところ

ダッシュボードに情報が増えすぎて、誰も読みません。
インシデントごとにパネルが増え、減ることはなく、一年後には小さいグラ
フが四十個になり、重要な一つはスクロールしないと見えません。各画面の
対象者と答える問いを一つに決め、「正常か」への答えを最上段に置き、詳
細はリンク先の別のダッシュボードへ移します。チームの誰も説明できない
パネルは、消すべきパネルです。

ブラウザーで直した内容が消えます。
ダッシュボードをファイルからプロビジョニングしたためです。
`allowUiUpdates`が既定のfalseなら、「Cannot
save provisioned
dashboard」というダイアログで保存を拒否します。trueにするとデータ
ベースへ保存しますが、次にファイルが変わると、その内容で上書きしま
す。ファイルを編集するか、保存ダイアログからJSONをエクスポートしてコ
ミットし、プロバイダーの設定を明示します。

```yaml
apiVersion: 1
providers:
    - name: operations
      type: file
      allowUiUpdates: false
      options:
          path: /var/lib/grafana/dashboards
```

壁面画面が、監視先のシステムを遅くします。
テレビを含む、開いているすべてのブラウザーが、更新のたびに全パネルの
クエリを再実行します。初期状態で許す最短の更新間隔は五秒です。二十パ
ネルを五秒ごとに更新すると、一画面だけで一秒に四クエリになります。
データが変わる速さで更新します。Prometheusなら収集間隔と同じか、それ
より遅くします。全員に適用する最小間隔を引き上げ、重い式はデータソー
スの記録規則で事前に計算します。

```ini
[dashboards]
min_refresh_interval = 30s
```

同じインシデントで、担当者が二度呼び出されます。
規則をPrometheusに置いてアラートをAlertmanager経由で送る一方、
Grafana
Alertingにも同じ規則があります。または、二つ目のインスタンスを追加す
るときにアラートの構成を忘れ、両方のGrafanaがすべての規則を評価しま
す。各規則の置き場を一つにし、二つ目のインスタンスを稼働させる前に、
Grafanaのアラートの高可用性手順に従います。

応答するサーバーによって、ダッシュボードや利用者が変わります。
ロードバランサーの後ろの二つのGrafanaが、別々のSQLiteファイルを持っ
ているためです。一方で保存した画面が他方にはなく、利用者も片方にしか
いません。公式ガイドは、高可用性には共有のMySQLかPostgreSQLデータ
ベースが必要だとしています。

参考資料

  * Grafanaについて — 機能、エディション、周辺のオープンソースプロ
ジェクトについての、開発元の概要です。

  * データソース — クエリを送れるシステムと、それぞれの追加、設定方
法です。

  * ダッシュボード — パネル、行、変数、保存に使うJSONモデルです。

  * Grafanaのプロビジョニング —
ファイルからのデータソースやダッシュボードの設定と、ブラウザーでの編
集に何が起きるかを説明します。

  * Grafanaの高可用性構成 — 二つ目のインスタンスに必要な共有データ
ベースと、アラート用の追加手順です。

  * ライセンス — 2021年のApache 2.0からAGPLv3への移行についての、
Grafana Labsのページです。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/grafana/	engineer.company	70
