監視・オブザーバビリティ
社内初のオブザーバビリティダッシュボードを構築
社内初のオブザーバビリティダッシュボードを開発・公開し、オフィスの大型テレビでシステム性能とデータをリアルタイムに把握できるようにした。
社内初のオブザーバビリティダッシュボードでシステムをリアルタイムに可視化し、障害の検知と解決を40%迅速化した。
UbuntuでPostgre・MS SQLサーバー10台を運用
Ubuntu Linux VPS上にPostgreSQL・MS SQLサーバー10台を設計・デプロイ・保守し、性能と信頼性を維持した。
Ubuntu Linux VPSでPostgreSQL・MS SQLサーバー10台を設計・保守し、稼働率99.9%と、調整によるクエリの30%高速化を達成した。
GISデータパイプライン20本の提供を自動化
20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。
GISデータパイプライン20本とアプリデータのETL処理を自動化し、インフラ自動化を効率化して、信頼できる最新データを届けた。
GrafanaとPromeで運用リスクを低減
GrafanaとPrometheusの監視ダッシュボードを導入して運用リスクを低減し、システムの信頼性を高めた。
GrafanaとPrometheusで問題の深刻化前に検知する監視ダッシュボードを構築し、事後対応から予防へチームを転換した。
約1,000台のIPTV/OTTサーバーを24/7で支援
中国、米国、ドイツの世界各地の顧客に向け、IPTV/OTT配信プラットフォームのインフラを24/7体制で支援し、約1,000台のサーバーと顧客所有のシステムを管理した。
中国、米国、ドイツのIPTV/OTT配信基盤で、約1,000台のサーバーと顧客システムを24/7で支援した。
IPTV配信信号の連続稼働を維持
配信ネットワークとIP電話を昼夜問わず監視・保守し、供給元と顧客の間でIPTV信号の途切れない配信を維持した。
配信ネットワークとIP電話を24/7で監視・保守し、供給元と顧客間のIPTV配信を途切れさせず維持した。
独自のエラー監視・トレースを構築
ペイロードの無害化、急増・再発の検知、シンボル解決、擬似ハートビートを備える独自のエラー監視とOpenTelemetryトレースを外部購入せず構築し、11画面の運用ビューから扱えるようにした。
無害化、急増検知、シンボル解決、ハートビートを備える独自のエラー監視とOpenTelemetryトレースを、11の運用画面から提供した。
3つあったが、どれも機能していなかった防御
一度も機能していなかったSSH総当たり攻撃対策を3件発見・修正。デーモンが1986番で待ち受けるのに22番を監視する遮断jail、上位の広いルールに隠されたレート制限、バイナリを解決できず遮断を一度も実行できなかったアクションを直した。
一度も働いていなかった3対策が動くようになり、故障しても正常報告を続ける類の不具合を、基盤の検査が捉えるようになった。3つとも起動初日から無効なのに、見ていた場所ではすべて正常だった。それこそが長く残った理由だった。
デッドマンズスイッチによるホスト監視を構築
メモリーとディスクが正常な間だけ通知を送るデッドマンズスイッチ監視を構築し、ホストの悪化を通知の停止で知らせるようにした。また、正しく測っていた「available」を「free」と記す変数名を6件発見。464 MBのホストでは両者に1桁の差があった。
期待した信号が届かなければ警報を出す仕組みを設け、誤解を招く変数名も修正した。信号の受信は、スクリプトが動作し、利用可能メモリーと空きディスク容量が設定した閾値の条件を満たしたことを確認する。ホスト全体の健全性や、サイトが配信できていることを証明するものではない。
読み取り専用のホストレポートロールを7個構築
事実、アクセス、git、指標、トラフィック、セキュリティ、プロバイダー資産を、稼働ホストからMarkdownにまとめる7個の読み取り専用レポートロールを構築し、実行で測定していない数値は出力しない規則を設けた。
必要に応じリポジトリから環境を説明でき、無効な安全策2件、未宣言ポート、最後に回収した時点までしかトラフィックの保管がないことを発見した。最後の限界には、回収の間にローテーションで失い、どこにも存在しない1サイトの16日分という具体的な損失も記した。
macOSアプリのイベントパイプラインに上限を設定
毎秒41 MBの増加と、36 GB端末で111 GBの圧縮ページを記録したmacOSの障害を受け、イベントバッファとログ出力に上限を設定。記録された全テスト実行では、コアのログ行が610,996から1,411へ減った。
障害記録には全テスト実行の比較があり、コアのログ行が610,996から1,411へ、取得ログ量が63 MBから388 KBへ減った。記録されたテスト実行の測定であって、本番トラフィックのベンチマークや修正後メモリーの実測ではない。ログ変更だけでは別の終了タイムアウトを直せず、それには別の修正が必要だった。
追跡せずに13アドレスを測定
Cookie、トラッカー、第三者サービスを使わず、Webサーバーのアクセスログのみから13アドレスを測定。書き込み時に接続元ネットワークをマスクし、21の日別集計と20の月別分析軸からなる永続アーカイブへまとめた。
13アドレスを計測し、Cookie、追跡、第三者要求を送らないため同意対象もタグの実行先もない。ユニーク利用者、検索語、閲覧経路、滞在、クリック、地域、端末は答えられないと明記する。粗い数を精密に読ませるほうが無数値より悪いため、限界は小さな注記でなく数値のそばに表示した。
6収集処理が省略した入力を明示
6つのレポート収集処理が、未読ファイル、未導入の検査、認識できなかったjournal行など、読み取れなかった入力範囲を明示するよう変更。収集不能と正常なホストが同じページになると確認し、116件の実測サンプルから閾値を定めた。
数値ページに結果と死角が並ぶようになった。自己測定は品質ゲートではなく、時間上限もないため2倍になっても見えるだけで止めないと明記した。上限には実ホストの基準が必要で、今回意図的に創作しなかった。既存のしきい値は日平均に適用されるため、1分間のピークが平均に埋もれることがある。