データを必要な場所へ自動で届ける
月末に誰かが表計算ファイルをコピーしなくても、決まった時刻に必要な場所へ数値が届く仕組みをつくります。
14部門を支える共通インフラ計画
研究機関の14部門に関わるインフラ全体の枠組みを設計。柔軟なモジュール、統一されたデータパイプライン、長期的な定着を支える体系的なサポート方針を備えた。
研究機関の14部門に共通する包括的なインフラの枠組みを設計。モジュール構成、統一されたデータパイプライン、支援方針を備えた。
30日分の電力データを180 msで処理
Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。
Python、SQL、Bash + Jqで電力消費量の集計を実装・測定し、Pythonで30日分のJSONLデータセットを180 msで処理した。
地理情報パイプラインを50倍に高速化
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。
創業者はUtiligizeで、PostgreSQL、MS SQL、BigQueryにまたがるSQLとデータモデルの作業により、地理データパイプラインの50倍の改善を記録している。
地理情報データの問題1,000件を解決
GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。
GDAL、PostGIS、ArcGIS、Mapbox、QGIS、SQLで地理情報・時系列大規模データの問題1,000件以上を解決し、クエリを35%高速化した。
ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
BigQuery、MSSQL、PostgreSQLのETL/ELTパイプライン6本を設計・運用し、毎日同期することで3時間の手作業を20分未満に短縮した。
GitHub ActionsでGIS SaaSのデプロイを自動化
GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。
GitHub Actions CI/CD、Python、Bash、SQLでGIS SaaSのデプロイ、データ処理、報告を自動化し、短く確実なリリースを実現した。
GISデータパイプライン20本の提供を自動化
20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。
GISデータパイプライン20本とアプリデータのETL処理を自動化し、インフラ自動化を効率化して、信頼できる最新データを届けた。
30件以上のGIS開発を構築からサポートまで主導
PostgreSQL、Bash、Python、JavaScript、GDAL、ArcGIS、PostGIS、Mapboxの専門知識を活用し、30件を超えるGISプロジェクトの開発・デプロイ・サポートを主導した。
PostgreSQL、Python、GDAL、ArcGIS、PostGIS、Mapboxで、30件以上のGISプロジェクトの開発・デプロイ・サポートを一貫して主導した。
GitHub・GitLab CI/CDで4,000時間を削減
GitHub、GitLab、Bash、PythonによるCI/CDを導入し、データ分析とソフトウェア開発の工程を効率化して4,000時間を削減した。
GitHub、GitLab、Bash、PythonのCI/CDを導入し、データ分析・開発の速度と一貫性を高めて約4,000時間を削減した。
PythonとPL/pgSQLでデータ処理を自動化
Shellスクリプト、PL/pgSQL、Python、Transact‑SQLでデータ処理を自動化し、生産性と効率を向上させた。
Shell、PL/pgSQL、Python、Transact-SQLでデータ処理を自動化し、生産性を高めて小さな反復ミスを解消した。
PL/pgSQL ETL/ELTパイプライン600本を構築
複数のPostgreSQL開発・本番環境にまたがる複雑なデータ処理を効率化するため、PL/pgSQLによるETL/ELTパイプライン600本を構築した。
PostgreSQLの開発環境と本番環境に、記録上600のPL/pgSQL ETL/ELTパイプラインを構築。増分読み込みとログ記録を含む。
地図製品を最初から運用まで支える
2年間にわたり、インフラ、データ処理、地図アプリケーションを設計・開発・支援し、ソフトウェアの提供と運用保守の両方を担当した。
2年間にわたりインフラ、データ処理、地図アプリケーションを設計・構築・支援し、開発成果の提供と運用保守を担った。
Postgre内に独自の分析機能を構築
自動的に古いパーティションを削除するイベントテーブルと47個のPostgreSQL関数による独自の製品分析を構築し、定期変更するソルトで仮名化し、利用者の同意に基づいて動作させた。
古いパーティションを自動削除するテーブルと47関数で、PostgreSQL内の独自製品分析を構築。仮名化と同意に基づく実行を適用した。
SQLiteエクスポートから495ページを生成
読み取り専用のSQLiteエクスポートから3言語495件の実績ページを生成し、ページのアドレスをデータとして定義することで、文章を直してもURLが変わらずリンクが切れないようにした。
495ページを1つの正本から生成し、文の訂正にアドレスの代償がなくなり、過去に公開したURLも応答し続ける。表示上の判断は、サービスをテーマ別にまとめる1点だけをexporterが持ち、他はDBに従う。見出しの訳がなければ、訳文の上に英語を出さず、エクスポートを失敗させる。