サイト信頼性・監視
お客様より先に異変に気づく
障害が小さいうちに知らせる監視とアラートを整え、安定した状態をどれだけ維持できているかを数値で示します。
このサービスに関する実績を抜粋してご紹介します。

写真: PublicCo / Pixabay 
写真: PIRO4D / Pixabay
サービスを成果につなげる
「サイト信頼性・監視」を事業の成果につなげましょう。技術的な作業を、それが支えるべき利用者、運用、意思決定に結び付けるお手伝いをします。 障害が小さいうちに知らせる監視とアラートを整え、安定した状態をどれだけ維持できているかを数値で示します。
関連する実績を確かめる
このページの関連実績から、私たちの取り組み方をご確認ください。それぞれの成果の背景にある条件や、何を優先して何を見送ったかについてもお尋ねください。 社内初のオブザーバビリティダッシュボードを構築 — 社内システムの状態を初めて可視化
-
社内初のオブザーバビリティダッシュボードを構築
社内初のオブザーバビリティダッシュボードを開発・公開し、オフィスの大型テレビでシステム性能とデータをリアルタイムに把握できるようにした。
-
UbuntuでPostgreSQL・MS SQLサーバー10台を運用
Ubuntu Linux VPS上にPostgreSQL・MS SQLサーバー10台を設計・デプロイ・保守し、性能と信頼性を維持した。
-
GrafanaとPrometheusで運用リスクを低減
GrafanaとPrometheusの監視ダッシュボードを導入して運用リスクを低減し、システムの信頼性を高めた。
-
Apache・NginxでWebサイト40件を管理
Apache・Nginxを使用するUbuntu Linuxホスティングサーバー上で40件のWebサイトを管理し、高い可用性と性能を維持した。
-
地図製品を最初から運用まで支える
2年間にわたり、インフラ、データ処理、地図アプリケーションを設計・開発・支援し、ソフトウェアの提供と運用保守の両方を担当した。
-
切り替えと配信ログを備えるメール機能を構築
メール送信をプラットフォームの共通機能として構築。3つのプロバイダーによるフェイルオーバー、配信Webhook、送信・配信ログ、テンプレート、キャンペーンを備え、送信手段がなければ起動を拒否する検査を設けた。
-
Azureへのプラットフォーム導入を一貫して担当
プラットフォームのAzureへのデプロイを最初から最後まで担当し、開発・ステージング・本番環境のリリースを管理した。
-
約1,000台のIPTV/OTTサーバーを24/7で支援
中国、米国、ドイツの世界各地の顧客に向け、IPTV/OTT配信プラットフォームのインフラを24/7体制で支援し、約1,000台のサーバーと顧客所有のシステムを管理した。
-
IPTV配信信号の連続稼働を維持
配信ネットワークとIP電話を昼夜問わず監視・保守し、供給元と顧客の間でIPTV信号の途切れない配信を維持した。
-
数年後も稼働するインフラを構築
社内外のシステム向けに新たなインフラ機能を計画・実装し、数年後も最小限の変更で稼働し続ける仕組みを構築した。
-
遅い処理をRiverジョブキューへ移行
時間のかかる処理をリクエスト経路からRiverジョブキューへ移し、15個のワーカーモジュール、8件の定期タスク、20件のpg_cronジョブにより、背後の作業が続く間も応答を返せるようにした。
-
独自のエラー監視・トレースを構築
ペイロードの無害化、急増・再発の検知、シンボル解決、擬似ハートビートを備える独自のエラー監視とOpenTelemetryトレースを外部購入せず構築し、11画面の運用ビューから扱えるようにした。
-
異常時拒否のレート制限・不正利用対策を構築
Redisによる22個のレートリミッター、Cloudflare Turnstile、リクエストの冪等性、オリジン制限を備え、異常時は拒否する不正利用対策を構築し、呼び出し元を無条件に信頼せずボットや大量アクセスを排除した。
-
3つあったが、どれも機能していなかった防御
一度も機能していなかったSSH総当たり攻撃対策を3件発見・修正。デーモンが1986番で待ち受けるのに22番を監視する遮断jail、上位の広いルールに隠されたレート制限、バイナリを解決できず遮断を一度も実行できなかったアクションを直した。
-
実行ごとに侵入元の遮断を実証
堅牢化の実行ごとに、予約済みテストアドレスを遮断し、生成されたカーネルルールを読み、必ず実行する後処理で遮断を解除する一連の検証を設け、jailの故障が正常報告ではなく実行失敗になるようにした。
-
復元方法を明示したバックアップ自動化
resticのバックアップを、保持期間、整合性検査、毎月の復元テストとともに自動化し、ストレージの有効化と実環境での復元検証を別の運用手順として記録した。
-
デッドマンズスイッチによるホスト監視を構築
メモリーとディスクが正常な間だけ通知を送るデッドマンズスイッチ監視を構築し、ホストの悪化を通知の停止で知らせるようにした。また、正しく測っていた「available」を「free」と記す変数名を6件発見。464 MBのホストでは両者に1桁の差があった。
-
Ansibleチェックモードを実態に即した検証に
Ansibleのcommandモジュールが--checkでコマンドを省略しながら成功を返すため、ホストから得ていない値で判断していた6個の検査を修正し、プラットフォーム全体のチェックモードが実態を伝えるようにした。
-
読み取り専用のホストレポートロールを7個構築
事実、アクセス、git、指標、トラフィック、セキュリティ、プロバイダー資産を、稼働ホストからMarkdownにまとめる7個の読み取り専用レポートロールを構築し、実行で測定していない数値は出力しない規則を設けた。
-
すべての運用秘密情報をホストごとに分離
2ホストで1つのデッドマンズスイッチを共有すると2つのスイッチより監視能力が下がり、バックアップのパスフレーズ共有では、リポジトリが別々でも、そのパスフレーズを入手し、両リポジトリの暗号化データと鍵ファイルを読める相手が2ホストのバックアップを復号できることを確認し、ホストごとの運用秘密情報4つを分離した。
-
macOSアプリのイベントパイプラインに上限を設定
毎秒41 MBの増加と、36 GB端末で111 GBの圧縮ページを記録したmacOSの障害を受け、イベントバッファとログ出力に上限を設定。記録された全テスト実行では、コアのログ行が610,996から1,411へ減った。
-
追跡せずに13アドレスを測定
Cookie、トラッカー、第三者サービスを使わず、Webサーバーのアクセスログのみから13アドレスを測定。書き込み時に接続元ネットワークをマスクし、21の日別集計と20の月別分析軸からなる永続アーカイブへまとめた。
-
6収集処理が省略した入力を明示
6つのレポート収集処理が、未読ファイル、未導入の検査、認識できなかったjournal行など、読み取れなかった入力範囲を明示するよう変更。収集不能と正常なホストが同じページになると確認し、116件の実測サンプルから閾値を定めた。

