データエンジニアリング
21 件の実績
この実績に関連する提供サービス: データパイプライン開発(ETL/ELT), GIS・地理空間ソリューション, データ分析・BIダッシュボード, データベース性能改善, データガバナンス・品質管理, データベース設計・モデリング, バックエンド・API開発 および データベース管理(DBA).

写真: Couleur / Pixabay 
写真: 27058054 / Pixabay
比較できる課題を探す
ご自身の状況に近い事例をご覧ください。振り返りでは、技術名だけでは分からない、結果を導いた判断を説明しています。 14部門を支える共通インフラ計画 — 14 共通インフラ計画の対象となった研究部門
-
14部門を支える共通インフラ計画
研究機関の14部門に関わるインフラ全体の枠組みを設計。柔軟なモジュール、統一されたデータパイプライン、長期的な定着を支える体系的なサポート方針を備えた。
-
30日分の電力データを180 msで処理
Python、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。
-
地理情報パイプラインを50倍に高速化
創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。
-
PostgreSQLでGIS地図を10倍に高速化
データの切り替えを含め、データベースをMSSQLからPostgreSQLへ計画的に移行。処理とデータセキュリティを最適化し、地図アプリケーションの性能を10倍に向上させた。
-
地理情報データの問題1,000件を解決
GDAL、ArcGIS、PostGIS、Mapbox、QGIS、SQL(PL/pgSQL、Transact‑SQL)、Bashを用いて地理情報・時系列データの問題1,000件を解決し、大規模データ処理の品質を確保した。
-
ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
-
マニュアル付きPower BIプロジェクト8件を提供
Microsoft Power BIをNodeJS APIとPython FastAPIに連携させ、データ分析と可視化のための8件のPower BIプロジェクトを、詳しいマニュアルとともに納品した。
-
PostgreSQL・MS SQL・BigQueryのデータウェアハウス100個を運用
主にGIS・時系列データを扱うPostgreSQL、MS SQL、Google BigQueryのデータウェアハウス100個を設計・構築・管理し、性能と拡張性を最適化した。
-
PostgreSQLを10倍に高速化
インデックス、パーティション、クエリを計画的に最適化してPostgreSQLを10倍に高速化し、ユーザー、テナント、地理空間、電力時系列データの処理効率を改善した。
-
GitHub ActionsでGIS SaaSのデプロイを自動化
GitHub Actions CI/CD、Python、Bash、SQLで、GIS SaaSアプリケーションのデプロイ、データ処理、レポート作成を自動化した。
-
GISデータパイプライン20本の提供を自動化
20本のGISデータパイプラインとアプリケーションデータのETL処理の提供を自動化し、インフラ自動化とレポート作成を効率化した。
-
予測と投資戦略を最適化
データに基づくGISソリューションを通じて、11社の電力系統運用事業者の予測と投資戦略を最適化し、業務効率を向上させた。
-
30件以上のGIS開発を構築からサポートまで主導
PostgreSQL、Bash、Python、JavaScript、GDAL、ArcGIS、PostGIS、Mapboxの専門知識を活用し、30件を超えるGISプロジェクトの開発・デプロイ・サポートを主導した。
-
GitHub・GitLab CI/CDで4,000時間を削減
GitHub、GitLab、Bash、PythonによるCI/CDを導入し、データ分析とソフトウェア開発の工程を効率化して4,000時間を削減した。
-
データ分析レポートシステムを開発
PythonでPDFレポートを作成するデータ分析レポートシステムを開発し、ソフトウェアの四半期売上を400%増加させた。
-
PythonとPL/pgSQLでデータ処理を自動化
Shellスクリプト、PL/pgSQL、Python、Transact‑SQLでデータ処理を自動化し、生産性と効率を向上させた。
-
PL/pgSQL ETL/ELTパイプライン600本を構築
複数のPostgreSQL開発・本番環境にまたがる複雑なデータ処理を効率化するため、PL/pgSQLによるETL/ELTパイプライン600本を構築した。
-
地図製品を最初から運用まで支える
2年間にわたり、インフラ、データ処理、地図アプリケーションを設計・開発・支援し、ソフトウェアの提供と運用保守の両方を担当した。
-
成長するデータモデルの時系列順キー
B‑treeインデックスの断片化を抑え、クエリを高速化するため、PostgreSQL 18の時系列順UUID v7をエンティティキーとして採用した。
-
34のPostgresスキーマに348テーブルをモデル化
専門家、企業、船舶、求人、レビューなどの海事領域を、34個のPostgreSQLスキーマ内の348個の正規化テーブルにモデル化し、SMALLINTの参照値とUUID v7キーを用いた。
-
PostgreSQL内に独自の分析機能を構築
自動的に古いパーティションを削除するイベントテーブルと47個のPostgreSQL関数による独自の製品分析を構築し、定期変更するソルトで仮名化し、利用者の同意に基づいて動作させた。
この技術が必要な開発をご検討ですか? お問い合わせ.

