データエンジニアリング
14部門を支える共通インフラ計画
研究機関の14部門に関わるインフラ全体の枠組みを設計。柔軟なモジュール、統一されたデータパイプライン、長期的な定着を支える体系的なサポート方針を備えた。
研究機関の14部門に共通する包括的なインフラの枠組みを設計。モジュール構成、統一されたデータパイプライン、支援方針を備えた。
30日分の電力データを180 msで処理
Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。
Python、SQL、Bash + Jqで電力消費量の集計を実装・測定し、Pythonで30日分のJSONLデータセットを180 msで処理した。
地理情報パイプラインを50倍に高速化
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。
創業者はUtiligizeで、PostgreSQL、MS SQL、BigQueryにまたがるSQLとデータモデルの作業により、地理データパイプラインの50倍の改善を記録している。
PostgreでGIS地図を10倍に高速化
データの切り替えを含め、データベースをMSSQLからPostgreSQLへ計画的に移行。処理とデータセキュリティを最適化し、地図アプリケーションの性能を10倍に向上させた。
MSSQLからPostgreSQLへの移行でGIS地図アプリケーションを10倍に高速化し、空間クエリを2.5秒から250 ms未満へ短縮した。
地理情報データの問題1,000件を解決
GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。
GDAL、PostGIS、ArcGIS、Mapbox、QGIS、SQLで地理情報・時系列大規模データの問題1,000件以上を解決し、クエリを35%高速化した。
ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
BigQuery、MSSQL、PostgreSQLのETL/ELTパイプライン6本を設計・運用し、毎日同期することで3時間の手作業を20分未満に短縮した。
マニュアル付きPower BIプロジェクト8件を提供
Microsoft Power BIをNodeJS APIとPython FastAPIに連携させ、データ分析と可視化のための8件のPower BIプロジェクトを、詳しいマニュアルとともに納品した。
Node.js API・Python FastAPIによるPower BI分析8プロジェクトを完全なマニュアルとともに提供し、レポート作成効率を60%向上させた。
Postgre・MS SQL・BigQueryのデータウェアハウス100個を運用
主にGIS・時系列データを扱うPostgreSQL、MS SQL、Google BigQueryのデータウェアハウス100個を設計・構築・管理し、性能と拡張性を最適化した。
GIS・時系列データ用のPostgreSQL、MS SQL、BigQueryデータウェアハウス100個を設計・運用し、クエリ時間を40–60%削減した。
Postgreを10倍に高速化
インデックス、パーティション、クエリを計画的に最適化してPostgreSQLを10倍に高速化し、ユーザー、テナント、地理空間、電力時系列データの処理効率を改善した。
ユーザー、テナント、地理空間、時系列データ向けにPostgreSQLをインデックス・パーティション・クエリ調整で10倍に高速化し、資源使用を40%削減した。
GitHub ActionsでGIS SaaSのデプロイを自動化
GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。
GitHub Actions CI/CD、Python、Bash、SQLでGIS SaaSのデプロイ、データ処理、報告を自動化し、短く確実なリリースを実現した。
GISデータパイプライン20本の提供を自動化
20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。
GISデータパイプライン20本とアプリデータのETL処理を自動化し、インフラ自動化を効率化して、信頼できる最新データを届けた。
予測と投資戦略を最適化
データに基づくGISソリューションを通じて、11社の電力系統運用事業者の予測と投資戦略を最適化し、業務効率を向上させた。
データに基づくGISで11社の電力系統運用事業者の予測・投資戦略を改善し、信頼できる的を絞った計画を支えた。
30件以上のGIS開発を構築からサポートまで主導
PostgreSQL、Bash、Python、JavaScript、GDAL、ArcGIS、PostGIS、Mapboxの専門知識を活用し、30件を超えるGISプロジェクトの開発・デプロイ・サポートを主導した。
PostgreSQL、Python、GDAL、ArcGIS、PostGIS、Mapboxで、30件以上のGISプロジェクトの開発・デプロイ・サポートを一貫して主導した。
GitHub・GitLab CI/CDで4,000時間を削減
GitHub、GitLab、Bash、PythonによるCI/CDを導入し、データ分析とソフトウェア開発の工程を効率化して4,000時間を削減した。
GitHub、GitLab、Bash、PythonのCI/CDを導入し、データ分析・開発の速度と一貫性を高めて約4,000時間を削減した。
データ分析レポートシステムを開発
PythonでPDFレポートを作成するデータ分析レポートシステムを開発し、ソフトウェアの四半期売上を400%増加させた。
明確でタイムリーなPDFレポートを作るPythonデータ分析システムを構築し、四半期ソフトウェア売上を400%増加させた。
PythonとPL/pgSQLでデータ処理を自動化
Shellスクリプト、PL/pgSQL、Python、Transact‑SQLでデータ処理を自動化し、生産性と効率を向上させた。
Shell、PL/pgSQL、Python、Transact-SQLでデータ処理を自動化し、生産性を高めて小さな反復ミスを解消した。
PL/pgSQL ETL/ELTパイプライン600本を構築
複数のPostgreSQL開発・本番環境にまたがる複雑なデータ処理を効率化するため、PL/pgSQLによるETL/ELTパイプライン600本を構築した。
PostgreSQLの開発環境と本番環境に、記録上600のPL/pgSQL ETL/ELTパイプラインを構築。増分読み込みとログ記録を含む。
地図製品を最初から運用まで支える
2年間にわたり、インフラ、データ処理、地図アプリケーションを設計・開発・支援し、ソフトウェアの提供と運用保守の両方を担当した。
2年間にわたりインフラ、データ処理、地図アプリケーションを設計・構築・支援し、開発成果の提供と運用保守を担った。
成長するデータモデルの時系列順キー
B‑treeインデックスの断片化を抑え、クエリを高速化するため、PostgreSQL 18の時系列順UUID v7をエンティティキーとして採用した。
PostgreSQL 18で時系列順のUUID v7キーを採用し、B-treeの断片化を減らして、エンティティのテーブルへの挿入と範囲クエリを改善することを狙った。
34のPostgresスキーマに348テーブルをモデル化
専門家、企業、船舶、求人、レビューなどの海事領域を、34個のPostgreSQLスキーマ内の348個の正規化テーブルにモデル化し、SMALLINTの参照値とUUID v7キーを用いた。
海事領域を34個のPostgreSQLスキーマと348個の正規化テーブルにモデル化し、SMALLINT参照、UUID v7、統一命名を採用した。
Postgre内に独自の分析機能を構築
自動的に古いパーティションを削除するイベントテーブルと47個のPostgreSQL関数による独自の製品分析を構築し、定期変更するソルトで仮名化し、利用者の同意に基づいて動作させた。
古いパーティションを自動削除するテーブルと47関数で、PostgreSQL内の独自製品分析を構築。仮名化と同意に基づく実行を適用した。