デッドマンズスイッチによるホスト監視を構築
メモリーとディスクが正常な間だけ通知を送るデッドマンズスイッチ監視を
構築し、ホストの悪化を通知の停止で知らせるようにした。また、正しく
測っていた「available」を「free」と記す変数名を6件発見。464
MBのホストでは両者に1桁の差があった。
9月 2026

状況. gitフォージとウェブサーバーを動かす464
MBのホストにとって、メモリー不足とディスク容量不足は重要な2つの障害
リスクだった。監視によって兆候を捉えられるが、その時期は負荷や観測す
る条件によって異なる。

課題. 故障の瞬間に送信する必要がある方式ではなく、ホストが動かないと
きに働く警報が必要だった。

行動.
時間を少し揺らした15分ごとのタイマーでデッドマンズスイッチを動かし
た。小さなスクリプトが利用可能メモリーと空きディスクを測り、両方が閾
値以上のときだけ外部へ通知する。沈黙が警報になる。メモリー切れ、通信
断、起動不能も不健康と同じ信号になることが正しく、状態を送るagentで
なくこの形を選ぶ理由だった。測るのはfreeでなくavailableであり、ここ
が最も示唆に富んだ。スクリプトは正しい列を読んでいたが、周辺6変数の
名がfreeだった。正常Linuxでも空きメモリーはキャッシュ利用でほぼ0に近
いため、10%閾値と変数名を見た人が、464
MB中12 MBしか空いていないと誤解し、壊れていると判断して1文字直すと、
正常な警報が常時違反となり、1週間で消音されかねなかった。

結果.
期待した信号が届かなければ警報を出す仕組みを設け、誤解を招く変数名も
修正した。信号の受信は、スクリプトが動作し、利用可能メモリーと空き
ディスク容量が設定した閾値の条件を満たしたことを確認する。ホスト全体
の健全性や、サイトが配信できていることを証明するものではない。

カテゴリー:
1インフラ	/ja/categories/infrastructure/	engineer.company	70
1自動化・CI/CD	/ja/categories/automation/	engineer.company	70
1信頼性・バックアップ	/ja/categories/reliability/	engineer.company	70
1監視・オブザーバビリティ	/ja/categories/observability/	engineer.company	70
1Linux・サーバー	/ja/categories/linux/	engineer.company	70
1性能改善	/ja/categories/performance/	engineer.company	70

サービス:
1コードによるインフラ管理	/ja/services/infrastructure-as-code/	engineer.company	70
1サイト信頼性・監視	/ja/services/site-reliability/	engineer.company	70
1システム管理	/ja/services/system-administration/	engineer.company	70

hこのページのウェブ版	URL:https://engineer.company/ja/portfolio/built-dead-mans-switch-host-monitoring/	engineer.company	70
