データガバナンス
14部門を支える共通インフラ計画
研究機関の14部門に関わるインフラ全体の枠組みを設計。柔軟なモジュール、統一されたデータパイプライン、長期的な定着を支える体系的なサポート方針を備えた。
研究機関の14部門に共通する包括的なインフラの枠組みを設計。モジュール構成、統一されたデータパイプライン、支援方針を備えた。
地理情報パイプラインを50倍に高速化
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。
創業者はUtiligizeで、PostgreSQL、MS SQL、BigQueryにまたがるSQLとデータモデルの作業により、地理データパイプラインの50倍の改善を記録している。
地理情報データの問題1,000件を解決
GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。
GDAL、PostGIS、ArcGIS、Mapbox、QGIS、SQLで地理情報・時系列大規模データの問題1,000件以上を解決し、クエリを35%高速化した。
電力・GISデータレポート500件を公開
詳細な調査と問題解決に基づき、地理情報・時系列の大規模データを正確に読み解く、電力・GISデータ分析レポート500件を公開した。
電力・GISのデータ分析レポート500件を公開し、負荷分散、効率改善、異常検知に使う部門共通の参照資料とした。
Postgre・MS SQL・BigQueryのデータウェアハウス100個を運用
主にGIS・時系列データを扱うPostgreSQL、MS SQL、Google BigQueryのデータウェアハウス100個を設計・構築・管理し、性能と拡張性を最適化した。
GIS・時系列データ用のPostgreSQL、MS SQL、BigQueryデータウェアハウス100個を設計・運用し、クエリ時間を40–60%削減した。
業務要件を収集・分析
業務要件を収集・分析し、データガバナンス基準に沿った、実装可能な機能とユーザーストーリーへ落とし込んだ。
業務要件をデータガバナンス基準に沿う明確な機能とユーザーストーリーへ変換し、曖昧さと手戻りを減らした。
PL/pgSQL ETL/ELTパイプライン600本を構築
複数のPostgreSQL開発・本番環境にまたがる複雑なデータ処理を効率化するため、PL/pgSQLによるETL/ELTパイプライン600本を構築した。
PostgreSQLの開発環境と本番環境に、記録上600のPL/pgSQL ETL/ELTパイプラインを構築。増分読み込みとログ記録を含む。
Postgre関数中心のデータ層を設計
34スキーマにまたがる1,275個のストアド関数を持つ、PostgreSQL関数中心のデータ層を設計。すべての読み書きをテーブル直接操作ではなく、データベースで実行権限を付与できる関数経由にした。
34スキーマ・1,275個のストアド関数を持つPostgreSQL関数中心のデータ層を設計し、データベース自体でアクセス境界を適用した。
カタログに基づくディープマージを実装
保存済みJSON設定にカタログに基づくディープマージを実装し、スキーマ変更時のキー欠落によるクラッシュを防いだ。
保存済みJSON設定にカタログに基づくディープマージを実装し、スキーマの発展に伴うキー欠落のクラッシュを防いだ。
34のPostgresスキーマに348テーブルをモデル化
専門家、企業、船舶、求人、レビューなどの海事領域を、34個のPostgreSQLスキーマ内の348個の正規化テーブルにモデル化し、SMALLINTの参照値とUUID v7キーを用いた。
海事領域を34個のPostgreSQLスキーマと348個の正規化テーブルにモデル化し、SMALLINT参照、UUID v7、統一命名を採用した。
1,022件のマイグレーションを差分検査で保護
新規インストールと、インストール後に全マイグレーションを適用する2通りでデータベースを構築し、不一致で失敗するCIゲートを設け、1,022件のマイグレーションにわたるスキーマの整合性を保った。
2通りでDBを構築し、不一致で失敗するCIゲートで、1,022件のマイグレーションの整合性を維持した。
Postgre内に独自の分析機能を構築
自動的に古いパーティションを削除するイベントテーブルと47個のPostgreSQL関数による独自の製品分析を構築し、定期変更するソルトで仮名化し、利用者の同意に基づいて動作させた。
古いパーティションを自動削除するテーブルと47関数で、PostgreSQL内の独自製品分析を構築。仮名化と同意に基づく実行を適用した。
採用と船員キャリアの管理画面を構築
採用と船員の経歴管理の作業領域を構築。記録された実装時点では、求人、応募、資格証明、職位の昇進、乗船期間を扱う48テーブルと151のストアド関数を含む。
採用業務と船員の経歴管理のためのワークスペースを構築した。記録された実装スナップショットでは、48テーブルと151関数という構成だった。
認証情報漏出後に対象範囲の規則を記述
構成変更によって別会社の資産一覧、ファイアウォール許可、文章が混入したことを受け、リポジトリの対象範囲を定める規則を記述し、隔離した残存物も除外せず秘密情報検査の対象に残した。
範囲の境界は判断基準付きの規則となり、残存物は埋もれず見え、漏れた具体的な形態はコミットを失敗させるようになった。一般的な教訓も記した。危険な成果物は実行するものより、誰も二度と読まない、実行しないものにある。
963メタデータブロックを1グラフに統合
会社の説明を1,671回繰り返していた匿名の構造化データ963ブロックを、安定したオリジン識別子から生成する16型の連結グラフ1つへ置き換えた。
963の匿名反復が安定IDの1グラフとなり、ページの量も増えず減った。発端の測定、1,671回同じ会社を書きながら結合できなかったという事実は、覚えておく価値があった。
検査自体のテストを作成
正常入力しか与えない検査は、何も読まずに正常と報告するようになり得ると確認し、検査自体のテストを作成。誤字を埋めて綴り検査の検出を確かめ、テスト内の固定値ではなくデータベースからID範囲を取得した。
全検査器に不正入力で失敗する証明が付き、範囲は正本を読むようになった。少なくとも2か所で不明な期間、緑の検査に意味がなかったことを露呈し、過去に何が通り抜けたかを後から知る方法はなかった。
すべての文字列をコンテンツツリーへ移行
実際には使われていないと気づけない翻訳と、実績の3分の1だけを黙って評価する検査を発見し、利用者向け文字列をすべてPythonから3言語874ファイルのコンテンツツリーへ移した。
コードを触らず文章を編集し、件数で言語比較できるようになった。未完の言語は明確になり、完成途中の部分翻訳を静かに公開できなくなるという費用はあるが、それこそが目的だった。
言語間の数値照合を構築
英語原文にある数値の欠落と、対象言語に合わない表記で失敗する言語間コンテンツ検査を構築し、指標が抜けたデンマーク語説明2件と英語式引用符を使うウクライナ語16箇所を検出した。
18の実際の不備を解消し、今後もコミット前に原文比較することで種類ごと閉じた。ただし意味は判断できない。数字が残り句読点がその言語のものでも、主張の向きを逆にした訳は正常に通る。
公開するすべての部品のライセンスを把握
毎回のビルドで644個のRust crateのライセンス互換性を監査し、1つのcrateのライセンスを書き換えた場合と、再生成せずコアの固定リビジョンを変えた場合に検査が働くことを実証した。
毎回配布条件を検査し、無言だったからでなく、失敗させたことで機能を確認した。以前はbundle、license、READMEが、未検証の644 crateについて主張していた。検査は宣言メタデータだけを読み、それが誤り・不完全なら証明できず、法的助言でもないという厳密な限界も明記した。
追跡せずに13アドレスを測定
Cookie、トラッカー、第三者サービスを使わず、Webサーバーのアクセスログのみから13アドレスを測定。書き込み時に接続元ネットワークをマスクし、21の日別集計と20の月別分析軸からなる永続アーカイブへまとめた。
13アドレスを計測し、Cookie、追跡、第三者要求を送らないため同意対象もタグの実行先もない。ユニーク利用者、検索語、閲覧経路、滞在、クリック、地域、端末は答えられないと明記する。粗い数を精密に読ませるほうが無数値より悪いため、限界は小さな注記でなく数値のそばに表示した。