ポストモーテム

どのようなものか

ポストモーテムは、インシデントの後にチームが作る記録です。何が起き、
どのようなコストがかかり、止めるために何をし、なぜ起きたのか、同じ形
で繰り返さないために何を変えるのかを記します。英語ではpostmortemのほ
か、ハイフンを入れてpost-mortemとも書きますが、意味は同じです。
GoogleのSite
Reliability
Engineering書籍も、このように定義しています。インシデントとその影響
を、対応、原因、再発を防ぐために必要な仕事へ結び付ける記録です。

書籍は、目的を三つ挙げます。インシデントを記録すること、最初に見つけ
た一つだけでなく、寄与した根本原因をすべて理解すること、実際に効く予
防策を実施することです。原因が複数形である点が重要です。どの規模のシ
ステムでも、インシデントの原因が一つだけであることはまれです。もっと
もらしい説明を一つ見つけて止めると、きっかけだけを直し、それが被害を
生む条件を残しがちです。

通常の報告書との違いは、誰かを責めないことです。責任追及をしないポス
トモーテムは、個人やチームの行いを非難せず、寄与した原因を探します。
関係者は善意で行動し、その時点で利用できる情報を使って判断したと考え
ます。SRE書籍は、この考えの起源を医療と航空に求めます。どちらも、ミ
スが人命に関わり、あらゆる誤りをシステムの強化に生かす分野です。その
理由は、優しさより実用性にあります。人にはパッチを当てられませんが、
システムや手順には当てられます。

時間がかかるため、小さな不調のたびに書くわけではありません。書籍は一
般的な実施条件を挙げ、各チームが自分たちに合う閾値へ調整します。

  * 利用者が気付く停止やサービス品質の低下が、合意した限度を超えた場
合。

  * どのようなものであれ、データが失われた場合。

  * リリースのロールバックやトラフィックの迂回など、当番エンジニアの
介入が必要になった場合。

  * 解決までの時間が、合意した限度を超えた場合。

  * 監視が機能しなかった場合。通常は、人が先に問題を見つけたことを意
味します。

何かが壊れる前に条件を決めておけば、停止中に、今回が該当するかを議論
せずに済みます。条件に当てはまらない出来事でも、どの関係者からでもポ
ストモーテムを求められます。

なぜ重要なのか

直しただけで記録しないインシデントは、再び起きやすくなります。SRE
Workbookは、発生から四か月後に公開されたポストモーテムを詳しく検討し
ています。その間に同じインシデントが再発し、チームは一回目に学んだこ
とを思い起こす必要がありました。すぐに書き、見つけられる場所に置いた
記録は、一つのチームのつらい午後を、組織全体で使える知識へ変えます。

記録は、事後の対応を実際の仕事にする役目もあります。Workbookが引用す
るBen Treynor
Slossは、チームが結論を行動に移さなければ、ポストモーテムから利用者
は何も得られない、と率直に述べています。そのためGoogleは、利用者に影
響する停止後のすべてのポストモーテムについて、上位二段階のいずれかの
優先度を付けた追跡チケットを少なくとも一件求めます。その仕事が必要な
理由を根拠とともに示し、後から進み具合を確認する場所が、ポストモーテ
ムです。

責任追及をしないからこそ、信頼できる事実が集まります。SRE書籍による
と、間違いを責められる環境では、人は問題を明かさなくなります。
Workbookは、再発防止に必要な事実そのものを隠すこともある、と加えてい
ます。責任を追及しない文化なら、誤って実行したコマンドを含め、時系列
のすべてを得られます。話したことで罰を受けないためです。書籍はさら
に、多くのポストモーテムを書くチームや人を問題視してはいけない、と述
べます。そうしなければ、誰も記録しないインシデントが残るからです。

ポストモーテムが集まれば、データセットになります。同じメタデータを持
たせると、検知までの時間、解決までの時間、影響が広がった範囲といった
傾向を追い、信頼性のための仕事が効果を出しているかを見られます。同じ
記録を研修にも使えます。Googleは、過去のポストモーテムを新任エンジニ
ア向けのロールプレイとして再演し、読書会や、今月のポストモーテムを紹
介するニュースレターも運営しています。

実際の活用例

SRE書籍の付録Dには、架空の検索サービスが急なアクセス増で66分間停止し
た、完全な例があります。基本の構成として使えるのは、状態、概要、影
響、根本原因、きっかけ、解決、検知、対策、教訓、UTCの時系列です。教
訓では、良かったこと、悪かったこと、運が良かったことを記します。時系
列は、停止が始まった時刻、インシデントを宣言した時刻、停止が終わった
時刻、インシデントを正式に閉じた時刻を分けて示します。四つは異なる瞬
間で、その間にある時間差から教訓を得られることが多いためです。

同じ構成で、画面に収まる長さに縮めた、別の架空のインシデントのポスト
モーテムを示します。

```text
ポストモーテム：タイムアウト変更後の購入手続きの失敗
状態：最終版、レビュー済み
担当：当番エンジニア（インシデント指揮者と協力）
概要：約三分の一の購入手続きリクエストが31分間失敗
影響：約4,100件の購入手続きが失敗。データ損失なし。
      購入手続きの28日分のエラーバジェットを一晩で消費
根本原因：決済のタイムアウトを10秒から1秒へ短縮。
          「設定だけの変更」としてレビューされ、リリース前には
          ピーク負荷で動作を確かめていなかった
きっかけ：夕方のピークで決済事業者の応答が1秒を超過
検知：最初のエラーから6分後、エラー率の警報が当番を呼び出し
解決：変更をロールバック。4分後に失敗が止まった

対策
  種別      優先度  担当                完了条件
  予防      P1      基盤責任者          設定変更で負荷テストを実行
  検知      P1      当番責任者          決済タイムアウトで警報が発報
  軽減      P2      購入手続き責任者    設定のロールバックが一手順
  プロセス  P2      インシデント責任者  設定変更がデプロイログに残る

教訓
  良かったこと：ロールバックが一回で成功した
  悪かったこと：タイムアウト変更をコード変更として扱わなかった
  運が良かったこと：ピークは短かった。セールの日なら三倍になっていた

時系列（UTC）
  18:02  変更をマージし、デプロイ
  18:40  トラフィックのピーク。最初の購入手続きの失敗    停止開始
  18:46  エラー率の警報が当番を呼び出し
  18:52  インシデント宣言、指揮者を指名                インシデント開始
  19:07  タイムアウト変更を特定、ロールバック開始
  19:11  失敗が止まる                                  停止終了
  19:41  通常のエラー率が三十分継続                    インシデント終了
```

書かれていないものにも注目してください。原因には個人名がなく、もっと
注意するよう誰かに求める対策もありません。各対策に一人の担当者、優先
度、別の人が確認できる完了条件があります。元になる情報の大半も、記憶
だけで書く必要はありません。SRE書籍のインシデント管理の章は、指揮者
が対応中に更新し続ける文書を持ち、ポストモーテムのために残すよう求め
ます。Workbookには、役割、時系列、影響を受けたサービスを自動で埋める
ツールの説明もあります。

このサイトの、2026年9月のmacOSイベントバッファーのインシデント記録に
も、ポストモーテムに近い構成があります。36
GBのマシンで圧縮ページが111 GBになった診断報告と、毎秒約41
MB増えていたことを示す別のメモリー使用量サンプルを区別しています。上
限のないメインイベントストリームと、使わない購読先にも複製されるログ
イベントを特定し、バッファーに上限を設け、イベント種別で購読を絞り、
ログに出力頻度の予算を与えました。テスト全体の実行比較では、コアのロ
グ行が610,996行から1,411行へ減った記録があります。構造の検査と予算の
テストで設計を守る一方、修正後の実測メモリー量や本番ベンチマークまで
は裏付けないことも明記しています。別にあった終了時のタイムアウトには
別の修正が必要で、繰り返される診断イベントを捨てることは予算の設計と
して許しています。三つの鍵がどれも掛かっていなかった記録は、停止では
なくレビューの話ですが、良いポストモーテムと同じ結末です。三つの修正
は小さく、得られた二つの規則が今はリポジトリー全体に適用され、その三
件だけでなく、同じ種類の失敗全体を検出します。

問題が起きるところ

文書が犯人を名指しします。
一人にすべての責任があると書いたり、その人を「不注意で無知」と表現し
たりすると、次は黙っていようと周囲に教えることになります。人物像では
なく、何が起き、その時に何を知っていたかを、事実に沿って書きます。
Workbookは、大げさな表現や感嘆符を、事実から注意をそらすものとして挙
げています。

対策が、人にもっと頑張るよう求めます。
「もっと注意する」「ランブックを改善する」では、完了したかを判定でき
ません。行動を変えるより、システムを変える方が信頼性の高い対策になり
ます。各対策に、予防・軽減・検知などの種別、一人の担当者、優先度、確
認できる完了条件を与えます。たとえば、指定した閾値を超えると発報する
警報です。チームが普段見ている追跡システムに、各対策のチケットも作り
ます。

根本原因の説明が、きっかけで止まります。
「設定変更が停止を起こした」は、きっかけの名前です。根本原因は、その
変更がそこまで大きな被害を出せた理由です。なぜレビューで見つからず、
テストでも見つからず、警報が遅れたのかを考えます。SRE書籍の例と同じ
ように、見出しを分けて扱います。

影響が曖昧なままです。
文書にある数字が時間だけなら、修正が効いたのかを誰も判断できません。
影響を受けた利用者、失われたリクエスト、消費したエラーバジェットを推
定します。Workbookは、十分な情報に基づく推定の方が、データがまったく
ないより良い、と助言しています。

四人が担当し、誰も担当しません。
ポストモーテムには、作成と事後対応の完遂について一つの窓口になる担当
者が一人必要で、ほかの人は協力します。各対策にも同じことが当てはまり
ます。

遅く書かれるか、誰にも読まれません。
記憶は数日で薄れます。数か月後に回ってくる文書では、次の発生に間に合
いません。Workbookの良い例は、インシデントを閉じてから一週間以内に、
幅広い読者に共有されました。レビューも必要です。SRE書籍は「レビュー
されないポストモーテムは、存在しなかったのも同然」と述べます。定期的
にレビューし、検索できる保管場所へ残します。

対策がいつまでも完了しません。
同じインシデントが繰り返すなら、対策に時間がかかりすぎていないか、機
能開発が信頼性の修正より優先され続けていないかを確認します。追うべき
なのは作成者ではなく、完了です。Googleは年二回FixIt週間を設け、ポス
トモーテムの対策を最も多く完了したエンジニアに報いています。

参考資料

  * ポストモーテムの文化：失敗から学ぶ — GoogleのSite Reliability
Engineering書籍の第15章です。実施条件、責任追及をしない姿勢、レ
ビューと、その周りの文化を扱います。

  * ポストモーテムの文化：失敗から学ぶ — SRE
Workbookの章で、同じインシデントの悪い例と良い例を、その理由とともに
示します。

  * ポストモーテムの例 — 架空の停止について、対策、教訓、時系列を含
む完全な記録です。

  * インシデント管理 — SRE書籍の第14章です。指揮者、対応中に更新する
文書、後のポストモーテムで使う引き継ぎを扱います。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/postmortem/	engineer.company	70
