# 地理情報パイプラインを50倍に高速化

創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。

2022 – 2024

**状況.** 組織は大量の地理データの処理に大幅な遅延を抱えており、データに基づく意思決定と分析レポートの作成の効率に影響が出ていた。

**課題.** 地理データパイプラインを最適化して性能を高め、処理時間を短縮し、より効果的にリアルタイムでデータを分析できるようにすることが目標だった。

**行動.** PostgreSQL、MS SQL、Google Cloud BigQueryにまたがる既存のSQLプログラムとデータモデルの構造を詳しく分析したところ、非効率なインデックス戦略、不適切なクエリ設計、必要な制約の不足によるボトルネックが明らかになった。これらに対処するため、次の作業を実施した:
- データモデルを再設計して重要なデータセットを正規化し、データ取得時間を改善するためにパーティション分割を導入した。
- PostgreSQLのB‑treeおよびGiSTインデックス、MS SQLのフィルター付きインデックス、BigQueryのクラスタリングなど、高度なインデックス技法を適用した。
- サブクエリの書き換え、結合処理の削減、適切な箇所へのマテリアライズドビューの導入により、複雑なSQLクエリを最適化した。
- 外部キーやCHECK制約などのデータ整合性制約を設定し、性能を損なわずにデータの一貫性を確保した。

**結果.** 創業者の実績記録では、この業務における地理データパイプラインの50倍の改善が報告されている。これは記録されたプロジェクトの結果であり、別のデータセットやシステムに対する保証ではない。公開された記録には、ベンチマークに用いたデータセット、ハードウェア、比較手順の記載はない。

---

- 役割: データエンジニア
- カテゴリー: [データベース](https://engineer.company/ja/categories/databases/), [PostgreSQL](https://engineer.company/ja/categories/postgresql/), [SQL](https://engineer.company/ja/categories/sql/), [データウェアハウス](https://engineer.company/ja/categories/data-warehousing/), [データエンジニアリング](https://engineer.company/ja/categories/data-engineering/), [データパイプライン（ETL/ELT）](https://engineer.company/ja/categories/data-pipelines/), [データガバナンス](https://engineer.company/ja/categories/data-governance/), [性能改善](https://engineer.company/ja/categories/performance/), [GIS・地理空間情報](https://engineer.company/ja/categories/gis/)
- サービス: [GIS・地理空間ソリューション](https://engineer.company/ja/services/gis-geospatial/), [データベース性能改善](https://engineer.company/ja/services/database-performance/), [データパイプライン開発（ETL/ELT）](https://engineer.company/ja/services/data-pipeline-development/), [データウェアハウス設計](https://engineer.company/ja/services/data-warehousing/), [AIが使えるデータの整備](https://engineer.company/ja/services/ai-data/)

<https://engineer.company/ja/portfolio/made-a-geographical-data-pipeline-50x-faster/>
