インシデント対応

どのようなものか

インシデント対応とは、サービスが中断したり、システムに重大な脅威が見
つかったりしたときに、対処を調整して進めることです。インシデントは対
応が必要になった事態そのものです。対応には、問題の検知と宣言、作業の
分担、利用できる状態への復旧、残る作業の引き継ぎが含まれます。開発や
運用の担当者に加え、利用者を支援する人も関わります。事態によっては、
セキュリティーや法務の判断を任された人が必要になります。

NISTが示すサイバーセキュリティーのインシデント対応指針では、検知、対
応、復旧を、準備と継続的な改善が支えます。この指針の対象はサイバーセ
キュリティーです。役割を割り振り、判断を記録する考え方は、リリース後
の障害にも応用できます。データが外部に出た可能性があるときは、サービ
スが動いていても、証拠の保全や利用者の保護が必要になることがありま
す。一般的な障害では、問題のある経路を避け、安全に利用を再開できるよ
うにすることが先かもしれません。

Googleのインシデント管理の解説では、対応全体を見る指揮役、運用上の処
置を取りまとめる人、連絡を担当する人を分けています。初動では一人がい
くつかを兼ねることがあります。参加者が増えたら、各役割の担当者を明記
すると、同じ調査を二人で行ったり、異なる指示が出たりするのを防げま
す。役割の組み合わせはチームの規模と状況に合わせられます。

なぜ重要なのか

対応の初めには、情報の確かさがそろいません。計測値から決済の失敗が増
えたことはすぐ分かっても、どの利用者や支払い方法に影響があるかは、時
間をかけて確かめる必要があります。利用者からの申告を受ける窓口が、先
に傾向をつかむこともあります。共有する時系列には、観察した内容とその
出どころ、どこまで確かかを書きます。後から参加した人は、最初に出た仮
説を事実として扱うことなく調べられます。

作業を調整すれば、急いで加える変更のリスクも抑えられます。以前の版に
戻すことと、設定を一時的に変更することは、個別には妥当でも、同時に行
うと互いの効果を損ねる場合があります。運用をまとめる人は、何をいつ変
えるか、結果がいつ見えるか、取り消しは可能かを把握します。個々の担当
者は専門知識を生かして提案でき、チームは誰が決めるかを確認できます。

復旧と原因調査には別々の時間がかかります。トラフィックを別の経路へ移
せば、原因が分かる前にサービスが使えるようになる場合があります。復旧
の判断には、新しい注文が完了し、保留中の注文の照合が進んでいる、と
いった条件を定めます。その後の振り返りでは、なぜ障害が起きたか、対応
はどう機能したか、何を変えるべきかを見ます。対応中の判断や検証を残し
ておけば、後から根拠をたどれます。

実際の活用例

予約サービスがときどき支払いを受け付ける一方で、チケットを発行しない
とします。窓口に最初の連絡が入り、開発担当者が失敗した要求を確認しま
した。最初に対応した人はインシデントを宣言し、症状を確認した時刻を書
きます。チームで分かっている影響を短くまとめ、変更を取りまとめる人を
決めます。窓口には連絡先と次の更新時刻を伝えます。

運用担当者は影響を受けた予約をいくつか調べ、開始時刻と重なる最近の変
更を見つけます。指揮役は、以前の版へ戻しても、決済済みの記録が確認で
きることを先に確かめるよう頼みます。一人が切り戻し、別の人が決済とチ
ケット発行の様子を見ます。窓口は未解決の予約番号を保管し、確定してい
ない予約について、利用者が取れる安全な行動を知らせます。

復旧を確かめるには、一つの支払いに正しいチケットが対応するところまで
確認します。保留中の予約がどの程度処理されたかも見ます。再び使えるよ
うになった時刻と、残る予約を誰が照合するかを記録します。通常の運用で
残るリスクを扱えるようになれば、対応を終了できます。原因調査には別の
担当と期限を決めます。交代のときは、直近の確定事項と進行中の操作、次
の連絡時刻を引き継ぎます。

EngineerのmacOSアプリで増え続けるメモリー消費に対処した事例には、
別々の測定と、保持するイベントを制限した作業が記録されています。測定
がどこまでの状況を示すかを残す大切さが分かります。予約サービスは、作
業と連絡をどう調整できるかを示す架空の例です。

問題が起きるところ

確実になるまで宣言を待つ。
影響がありそうなら、担当者と次の確認時刻を決めて調べられます。人を集
める条件を普段から決めます。追加の情報で深刻でないと分かれば、体制を
縮小できます。

複数の人が同時にシステムを変える。
予定や実施した作業を、担当者とともに共有します。可能なら、次の変更の
前に一つ目の結果を確かめます。独立に進められるものは範囲を明らかにし
ます。

推測が利用者に伝わる。
何が起きているか、何をしてよいか、いつ次の情報が出るかを伝えます。不
明な点は不明と明記し、原因の説明には確認できた情報を使います。

復旧した時点で残りの作業が見えなくなる。
予約の照合、利用者への連絡、一時的な対策の見直しを担当者に割り当てま
す。対応の連絡先を閉じる前に、通常の作業管理へ移します。

参考資料

  * NIST SP 800-61改訂第3版 — サイバーセキュリティーのインシデント対
応と、その準備・改善。

  * Googleによるインシデント管理の解説 — 対応時の役割分担、連絡、記
録。

  * Google SREワークブックのインシデント対応 — 具体的な対応の例と教
訓。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/incident-response/	engineer.company	70
