お客様より先に異変に気づく
障害が小さいうちに知らせる監視とアラートを整え、安定した状態をどれだけ維持できているかを数値で示します。
社内初のオブザーバビリティダッシュボードを構築
社内初のオブザーバビリティダッシュボードを開発・公開し、オフィスの大型テレビでシステム性能とデータをリアルタイムに把握できるようにした。
社内初のオブザーバビリティダッシュボードでシステムをリアルタイムに可視化し、障害の検知と解決を40%迅速化した。
UbuntuでPostgre・MS SQLサーバー10台を運用
Ubuntu Linux VPS上にPostgreSQL・MS SQLサーバー10台を設計・デプロイ・保守し、性能と信頼性を維持した。
Ubuntu Linux VPSでPostgreSQL・MS SQLサーバー10台を設計・保守し、稼働率99.9%と、調整によるクエリの30%高速化を達成した。
GrafanaとPromeで運用リスクを低減
GrafanaとPrometheusの監視ダッシュボードを導入して運用リスクを低減し、システムの信頼性を高めた。
GrafanaとPrometheusで問題の深刻化前に検知する監視ダッシュボードを構築し、事後対応から予防へチームを転換した。
Apache・NginxでWebサイト40件を管理
Apache・Nginxを使用するUbuntu Linuxホスティングサーバー上で40件のWebサイトを管理し、高い可用性と性能を維持した。
Ubuntu Linux上のApache・Nginxで40件のWebサイトの可用性と性能を維持し、顧客が運用を気にせずに済むホスティングを提供した。
地図製品を最初から運用まで支える
2年間にわたり、インフラ、データ処理、地図アプリケーションを設計・開発・支援し、ソフトウェアの提供と運用保守の両方を担当した。
2年間にわたりインフラ、データ処理、地図アプリケーションを設計・構築・支援し、開発成果の提供と運用保守を担った。
切り替えと配信ログを備えるメール機能を構築
メール送信をプラットフォームの共通機能として構築。3つのプロバイダーによるフェイルオーバー、配信Webhook、送信・配信ログ、テンプレート、キャンペーンを備え、送信手段がなければ起動を拒否する検査を設けた。
3プロバイダーのフェイルオーバー、配信Webhook、送信・配信ログ、テンプレート、キャンペーン一斉送信を備える共通メール機能を構築した。
Azureへのプラットフォーム導入を一貫して担当
プラットフォームのAzureへのデプロイを最初から最後まで担当し、開発・ステージング・本番環境のリリースを管理した。
Azureへのデプロイを一貫して担当し、定義済みの再現可能な手順で、開発からステージング、本番へリリースを進めた。
約1,000台のIPTV/OTTサーバーを24/7で支援
中国、米国、ドイツの世界各地の顧客に向け、IPTV/OTT配信プラットフォームのインフラを24/7体制で支援し、約1,000台のサーバーと顧客所有のシステムを管理した。
中国、米国、ドイツのIPTV/OTT配信基盤で、約1,000台のサーバーと顧客システムを24/7で支援した。
IPTV配信信号の連続稼働を維持
配信ネットワークとIP電話を昼夜問わず監視・保守し、供給元と顧客の間でIPTV信号の途切れない配信を維持した。
配信ネットワークとIP電話を24/7で監視・保守し、供給元と顧客間のIPTV配信を途切れさせず維持した。
数年後も稼働するインフラを構築
社内外のシステム向けに新たなインフラ機能を計画・実装し、数年後も最小限の変更で稼働し続ける仕組みを構築した。
社内向けと社外向けのシステムを支える、耐久性のあるインフラを計画し、構築した。数年が経過した後も、最小限の変更だけで稼働を続けた。
遅い処理をRiverジョブキューへ移行
時間のかかる処理をリクエスト経路からRiverジョブキューへ移し、15個のワーカーモジュール、8件の定期タスク、20件のpg_cronジョブにより、背後の作業が続く間も応答を返せるようにした。
遅い処理をRiverキューへ移し、15ワーカーモジュール、8定期タスク、20件のpg_cron保守ジョブでリクエスト経路を軽くした。
独自のエラー監視・トレースを構築
ペイロードの無害化、急増・再発の検知、シンボル解決、擬似ハートビートを備える独自のエラー監視とOpenTelemetryトレースを外部購入せず構築し、11画面の運用ビューから扱えるようにした。
無害化、急増検知、シンボル解決、ハートビートを備える独自のエラー監視とOpenTelemetryトレースを、11の運用画面から提供した。
異常時拒否のレート制限・不正利用対策を構築
Redisによる22個のレートリミッター、Cloudflare Turnstile、リクエストの冪等性、オリジン制限を備え、異常時は拒否する不正利用対策を構築し、呼び出し元を無条件に信頼せずボットや大量アクセスを排除した。
Redisによる22レートリミッター、Cloudflare Turnstile、リクエストの冪等性、オリジン制限を備える、異常時拒否の不正利用対策を構築した。
3つあったが、どれも機能していなかった防御
一度も機能していなかったSSH総当たり攻撃対策を3件発見・修正。デーモンが1986番で待ち受けるのに22番を監視する遮断jail、上位の広いルールに隠されたレート制限、バイナリを解決できず遮断を一度も実行できなかったアクションを直した。
一度も働いていなかった3対策が動くようになり、故障しても正常報告を続ける類の不具合を、基盤の検査が捉えるようになった。3つとも起動初日から無効なのに、見ていた場所ではすべて正常だった。それこそが長く残った理由だった。
実行ごとに侵入元の遮断を実証
堅牢化の実行ごとに、予約済みテストアドレスを遮断し、生成されたカーネルルールを読み、必ず実行する後処理で遮断を解除する一連の検証を設け、jailの故障が正常報告ではなく実行失敗になるようにした。
故障した遮断経路が正常報告を続けず、収束を失敗させるようになった。それが必要な性質だった。毎回数秒を要し、本番のファイアウォールへルールを書いて撤回する介入はある。それでも別の方法の悪さをすでに実証したため、受け入れた。
復元方法を明示したバックアップ自動化
resticのバックアップを、保持期間、整合性検査、毎月の復元テストとともに自動化し、ストレージの有効化と実環境での復元検証を別の運用手順として記録した。
リポジトリにはバックアップと復元テストの実装があり、有効化の前提条件も記録されている。2026-10-27付の実装記録では、リポジトリ未設定のためタイマーは無効で、実環境での復元完了も記録されていない。この日付付きの証拠は自動化の仕事を裏づけるが、現在の稼働状態、災害復旧の成功、復旧時間の約束を示すものではない。
デッドマンズスイッチによるホスト監視を構築
メモリーとディスクが正常な間だけ通知を送るデッドマンズスイッチ監視を構築し、ホストの悪化を通知の停止で知らせるようにした。また、正しく測っていた「available」を「free」と記す変数名を6件発見。464 MBのホストでは両者に1桁の差があった。
期待した信号が届かなければ警報を出す仕組みを設け、誤解を招く変数名も修正した。信号の受信は、スクリプトが動作し、利用可能メモリーと空きディスク容量が設定した閾値の条件を満たしたことを確認する。ホスト全体の健全性や、サイトが配信できていることを証明するものではない。
Ansibleチェックモードを実態に即した検証に
Ansibleのcommandモジュールが--checkでコマンドを省略しながら成功を返すため、ホストから得ていない値で判断していた6個の検査を修正し、プラットフォーム全体のチェックモードが実態を伝えるようにした。
試行は測るか、測らなかったと言うかになり、以前の第3の状態はなくなった。同時に開発指針へ、チェックモードは嘘をつかず、見えない検査はそれを知らせ、見えないことから判定を推定してはならないと記した。
読み取り専用のホストレポートロールを7個構築
事実、アクセス、git、指標、トラフィック、セキュリティ、プロバイダー資産を、稼働ホストからMarkdownにまとめる7個の読み取り専用レポートロールを構築し、実行で測定していない数値は出力しない規則を設けた。
必要に応じリポジトリから環境を説明でき、無効な安全策2件、未宣言ポート、最後に回収した時点までしかトラフィックの保管がないことを発見した。最後の限界には、回収の間にローテーションで失い、どこにも存在しない1サイトの16日分という具体的な損失も記した。
すべての運用秘密情報をホストごとに分離
2ホストで1つのデッドマンズスイッチを共有すると2つのスイッチより監視能力が下がり、バックアップのパスフレーズ共有では、リポジトリが別々でも、そのパスフレーズを入手し、両リポジトリの暗号化データと鍵ファイルを読める相手が2ホストのバックアップを復号できることを確認し、ホストごとの運用秘密情報4つを分離した。
仕組み上ホストごとの秘密情報となり、共有による2つの故障形態を次の編集者が読む場所に残した。空欄は、接続の仕組みはあるが値がないという、キー欠落とは違う有用な情報であり、維持する意味があった。
macOSアプリのイベントパイプラインに上限を設定
毎秒41 MBの増加と、36 GB端末で111 GBの圧縮ページを記録したmacOSの障害を受け、イベントバッファとログ出力に上限を設定。記録された全テスト実行では、コアのログ行が610,996から1,411へ減った。
障害記録には全テスト実行の比較があり、コアのログ行が610,996から1,411へ、取得ログ量が63 MBから388 KBへ減った。記録されたテスト実行の測定であって、本番トラフィックのベンチマークや修正後メモリーの実測ではない。ログ変更だけでは別の終了タイムアウトを直せず、それには別の修正が必要だった。
追跡せずに13アドレスを測定
Cookie、トラッカー、第三者サービスを使わず、Webサーバーのアクセスログのみから13アドレスを測定。書き込み時に接続元ネットワークをマスクし、21の日別集計と20の月別分析軸からなる永続アーカイブへまとめた。
13アドレスを計測し、Cookie、追跡、第三者要求を送らないため同意対象もタグの実行先もない。ユニーク利用者、検索語、閲覧経路、滞在、クリック、地域、端末は答えられないと明記する。粗い数を精密に読ませるほうが無数値より悪いため、限界は小さな注記でなく数値のそばに表示した。
6収集処理が省略した入力を明示
6つのレポート収集処理が、未読ファイル、未導入の検査、認識できなかったjournal行など、読み取れなかった入力範囲を明示するよう変更。収集不能と正常なホストが同じページになると確認し、116件の実測サンプルから閾値を定めた。
数値ページに結果と死角が並ぶようになった。自己測定は品質ゲートではなく、時間上限もないため2倍になっても見えるだけで止めないと明記した。上限には実ホストの基準が必要で、今回意図的に創作しなかった。既存のしきい値は日平均に適用されるため、1分間のピークが平均に埋もれることがある。