本文へ移動

ポストモーテム

再発防止のためにインシデントを振り返る文書

どのようなものか

ポストモーテムは、インシデントの後にチームが作る記録です。何が起き、どのようなコストがかかり、止めるために何をし、なぜ起きたのか、同じ形で繰り返さないために何を変えるのかを記します。英語ではpostmortemのほか、ハイフンを入れてpost-mortemとも書きますが、意味は同じです。GoogleのSite Reliability Engineering書籍も、このように定義しています。インシデントとその影響を、対応、原因、再発を防ぐために必要な仕事へ結び付ける記録です。

書籍は、目的を三つ挙げます。インシデントを記録すること、最初に見つけた一つだけでなく、寄与した根本原因をすべて理解すること、実際に効く予防策を実施することです。原因が複数形である点が重要です。どの規模のシステムでも、インシデントの原因が一つだけであることはまれです。もっともらしい説明を一つ見つけて止めると、きっかけだけを直し、それが被害を生む条件を残しがちです。

通常の報告書との違いは、誰かを責めないことです。責任追及をしないポストモーテムは、個人やチームの行いを非難せず、寄与した原因を探します。関係者は善意で行動し、その時点で利用できる情報を使って判断したと考えます。SRE書籍は、この考えの起源を医療と航空に求めます。どちらも、ミスが人命に関わり、あらゆる誤りをシステムの強化に生かす分野です。その理由は、優しさより実用性にあります。人にはパッチを当てられませんが、システムや手順には当てられます。

時間がかかるため、小さな不調のたびに書くわけではありません。書籍は一般的な実施条件を挙げ、各チームが自分たちに合う閾値へ調整します。

  • 利用者が気付く停止やサービス品質の低下が、合意した限度を超えた場合。
  • どのようなものであれ、データが失われた場合。
  • リリースのロールバックやトラフィックの迂回など、当番エンジニアの介入が必要になった場合。
  • 解決までの時間が、合意した限度を超えた場合。
  • 監視が機能しなかった場合。通常は、人が先に問題を見つけたことを意味します。

何かが壊れる前に条件を決めておけば、停止中に、今回が該当するかを議論せずに済みます。条件に当てはまらない出来事でも、どの関係者からでもポストモーテムを求められます。

  • オフィス、メモ、メモ帳
    写真: Firmbee / Pixabay
  • クリップボード、文房具
    写真: aviaxion / Pixabay

概念を判断に生かす

「ポストモーテムとは?」を実際の判断に生かしましょう。その概念を、開発または購入するシステムに結び付けて考えるお手伝いをします。 障害が小さいうちに知らせる監視とアラートを整え、安定した状態をどれだけ維持できているかを数値で示します。

サービスを見る お問い合わせ

用語の背後にある前提を検証する

解説とリンク先の実績を参考に、プロジェクトについての質問を整理してください。ツールを選ぶ前に、前提を一緒に検討できます。 社内初のオブザーバビリティダッシュボードを構築 — 社内システムの状態を初めて可視化

社内初のオブザーバビリティダッシュボードを構築 お問い合わせ

なぜ重要なのか

直しただけで記録しないインシデントは、再び起きやすくなります。SRE Workbookは、発生から四か月後に公開されたポストモーテムを詳しく検討しています。その間に同じインシデントが再発し、チームは一回目に学んだことを思い起こす必要がありました。すぐに書き、見つけられる場所に置いた記録は、一つのチームのつらい午後を、組織全体で使える知識へ変えます。

記録は、事後の対応を実際の仕事にする役目もあります。Workbookが引用するBen Treynor Slossは、チームが結論を行動に移さなければ、ポストモーテムから利用者は何も得られない、と率直に述べています。そのためGoogleは、利用者に影響する停止後のすべてのポストモーテムについて、上位二段階のいずれかの優先度を付けた追跡チケットを少なくとも一件求めます。その仕事が必要な理由を根拠とともに示し、後から進み具合を確認する場所が、ポストモーテムです。

責任追及をしないからこそ、信頼できる事実が集まります。SRE書籍によると、間違いを責められる環境では、人は問題を明かさなくなります。Workbookは、再発防止に必要な事実そのものを隠すこともある、と加えています。責任を追及しない文化なら、誤って実行したコマンドを含め、時系列のすべてを得られます。話したことで罰を受けないためです。書籍はさらに、多くのポストモーテムを書くチームや人を問題視してはいけない、と述べます。そうしなければ、誰も記録しないインシデントが残るからです。

ポストモーテムが集まれば、データセットになります。同じメタデータを持たせると、検知までの時間、解決までの時間、影響が広がった範囲といった傾向を追い、信頼性のための仕事が効果を出しているかを見られます。同じ記録を研修にも使えます。Googleは、過去のポストモーテムを新任エンジニア向けのロールプレイとして再演し、読書会や、今月のポストモーテムを紹介するニュースレターも運営しています。

実際の活用例

SRE書籍の付録Dには、架空の検索サービスが急なアクセス増で66分間停止した、完全な例があります。基本の構成として使えるのは、状態、概要、影響、根本原因、きっかけ、解決、検知、対策、教訓、UTCの時系列です。教訓では、良かったこと、悪かったこと、運が良かったことを記します。時系列は、停止が始まった時刻、インシデントを宣言した時刻、停止が終わった時刻、インシデントを正式に閉じた時刻を分けて示します。四つは異なる瞬間で、その間にある時間差から教訓を得られることが多いためです。

同じ構成で、画面に収まる長さに縮めた、別の架空のインシデントのポストモーテムを示します。

ポストモーテム:タイムアウト変更後の購入手続きの失敗
状態:最終版、レビュー済み
担当:当番エンジニア(インシデント指揮者と協力)
概要:約三分の一の購入手続きリクエストが31分間失敗
影響:約4,100件の購入手続きが失敗。データ損失なし。
      購入手続きの28日分のエラーバジェットを一晩で消費
根本原因:決済のタイムアウトを10秒から1秒へ短縮。
          「設定だけの変更」としてレビューされ、リリース前には
          ピーク負荷で動作を確かめていなかった
きっかけ:夕方のピークで決済事業者の応答が1秒を超過
検知:最初のエラーから6分後、エラー率の警報が当番を呼び出し
解決:変更をロールバック。4分後に失敗が止まった

対策
  種別      優先度  担当                完了条件
  予防      P1      基盤責任者          設定変更で負荷テストを実行
  検知      P1      当番責任者          決済タイムアウトで警報が発報
  軽減      P2      購入手続き責任者    設定のロールバックが一手順
  プロセス  P2      インシデント責任者  設定変更がデプロイログに残る

教訓
  良かったこと:ロールバックが一回で成功した
  悪かったこと:タイムアウト変更をコード変更として扱わなかった
  運が良かったこと:ピークは短かった。セールの日なら三倍になっていた

時系列(UTC)
  18:02  変更をマージし、デプロイ
  18:40  トラフィックのピーク。最初の購入手続きの失敗    停止開始
  18:46  エラー率の警報が当番を呼び出し
  18:52  インシデント宣言、指揮者を指名                インシデント開始
  19:07  タイムアウト変更を特定、ロールバック開始
  19:11  失敗が止まる                                  停止終了
  19:41  通常のエラー率が三十分継続                    インシデント終了

書かれていないものにも注目してください。原因には個人名がなく、もっと注意するよう誰かに求める対策もありません。各対策に一人の担当者、優先度、別の人が確認できる完了条件があります。元になる情報の大半も、記憶だけで書く必要はありません。SRE書籍のインシデント管理の章は、指揮者が対応中に更新し続ける文書を持ち、ポストモーテムのために残すよう求めます。Workbookには、役割、時系列、影響を受けたサービスを自動で埋めるツールの説明もあります。

このサイトの、2026年9月のmacOSイベントバッファーのインシデント記録にも、ポストモーテムに近い構成があります。36 GBのマシンで圧縮ページが111 GBになった診断報告と、毎秒約41 MB増えていたことを示す別のメモリー使用量サンプルを区別しています。上限のないメインイベントストリームと、使わない購読先にも複製されるログイベントを特定し、バッファーに上限を設け、イベント種別で購読を絞り、ログに出力頻度の予算を与えました。テスト全体の実行比較では、コアのログ行が610,996行から1,411行へ減った記録があります。構造の検査と予算のテストで設計を守る一方、修正後の実測メモリー量や本番ベンチマークまでは裏付けないことも明記しています。別にあった終了時のタイムアウトには別の修正が必要で、繰り返される診断イベントを捨てることは予算の設計として許しています。三つの鍵がどれも掛かっていなかった記録は、停止ではなくレビューの話ですが、良いポストモーテムと同じ結末です。三つの修正は小さく、得られた二つの規則が今はリポジトリー全体に適用され、その三件だけでなく、同じ種類の失敗全体を検出します。

問題が起きるところ

文書が犯人を名指しします。 一人にすべての責任があると書いたり、その人を「不注意で無知」と表現したりすると、次は黙っていようと周囲に教えることになります。人物像ではなく、何が起き、その時に何を知っていたかを、事実に沿って書きます。Workbookは、大げさな表現や感嘆符を、事実から注意をそらすものとして挙げています。

対策が、人にもっと頑張るよう求めます。 「もっと注意する」「ランブックを改善する」では、完了したかを判定できません。行動を変えるより、システムを変える方が信頼性の高い対策になります。各対策に、予防・軽減・検知などの種別、一人の担当者、優先度、確認できる完了条件を与えます。たとえば、指定した閾値を超えると発報する警報です。チームが普段見ている追跡システムに、各対策のチケットも作ります。

根本原因の説明が、きっかけで止まります。 「設定変更が停止を起こした」は、きっかけの名前です。根本原因は、その変更がそこまで大きな被害を出せた理由です。なぜレビューで見つからず、テストでも見つからず、警報が遅れたのかを考えます。SRE書籍の例と同じように、見出しを分けて扱います。

影響が曖昧なままです。 文書にある数字が時間だけなら、修正が効いたのかを誰も判断できません。影響を受けた利用者、失われたリクエスト、消費したエラーバジェットを推定します。Workbookは、十分な情報に基づく推定の方が、データがまったくないより良い、と助言しています。

四人が担当し、誰も担当しません。 ポストモーテムには、作成と事後対応の完遂について一つの窓口になる担当者が一人必要で、ほかの人は協力します。各対策にも同じことが当てはまります。

遅く書かれるか、誰にも読まれません。 記憶は数日で薄れます。数か月後に回ってくる文書では、次の発生に間に合いません。Workbookの良い例は、インシデントを閉じてから一週間以内に、幅広い読者に共有されました。レビューも必要です。SRE書籍は「レビューされないポストモーテムは、存在しなかったのも同然」と述べます。定期的にレビューし、検索できる保管場所へ残します。

対策がいつまでも完了しません。 同じインシデントが繰り返すなら、対策に時間がかかりすぎていないか、機能開発が信頼性の修正より優先され続けていないかを確認します。追うべきなのは作成者ではなく、完了です。Googleは年二回FixIt週間を設け、ポストモーテムの対策を最も多く完了したエンジニアに報いています。

参考資料

用語集

実際の制約に合わせて選ぶ

デプロイの流れ、運用上のリスク、緊急対応の担当者をお知らせください。検査、復旧手段、明確な責任の所在を伴う変更の範囲を定められます。

料金を見る お問い合わせ

用語を実務に結び付ける

「ポストモーテムとは?」がお客様の組織にどう当てはまるかをご相談ください。現在のシステムの具体例が一つあれば、話を始められます。

サービスを見る
welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン
ポストモーテムのQRコード
このページを持ち歩くhttps://engineer.company/ja/glossary/postmortem/