本文へ移動
Engineer
メニュー
デザイン
日本語

Engineer / 実績紹介

地理情報パイプラインを50倍に高速化

創業者のUtiligizeでの業務で、PostgreSQL、MS SQL、Google Cloud BigQueryのSQLとデータモデルを変更し、地理データパイプラインの50倍の改善を記録した。

状況. 組織は大量の地理データの処理に大幅な遅延を抱えており、データに基づく意思決定と分析レポートの作成の効率に影響が出ていた。

課題. 地理データパイプラインを最適化して性能を高め、処理時間を短縮し、より効果的にリアルタイムでデータを分析できるようにすることが目標だった。

行動. PostgreSQL、MS SQL、Google Cloud BigQueryにまたがる既存のSQLプログラムとデータモデルの構造を詳しく分析したところ、非効率なインデックス戦略、不適切なクエリ設計、必要な制約の不足によるボトルネックが明らかになった。これらに対処するため、次の作業を実施した:

  • データモデルを再設計して重要なデータセットを正規化し、データ取得時間を改善するためにパーティション分割を導入した。
  • PostgreSQLのB‑treeおよびGiSTインデックス、MS SQLのフィルター付きインデックス、BigQueryのクラスタリングなど、高度なインデックス技法を適用した。
  • サブクエリの書き換え、結合処理の削減、適切な箇所へのマテリアライズドビューの導入により、複雑なSQLクエリを最適化した。
  • 外部キーやCHECK制約などのデータ整合性制約を設定し、性能を損なわずにデータの一貫性を確保した。

結果. 創業者の実績記録では、この業務における地理データパイプラインの50倍の改善が報告されている。これは記録されたプロジェクトの結果であり、別のデータセットやシステムに対する保証ではない。公開された記録には、ベンチマークに用いたデータセット、ハードウェア、比較手順の記載はない。

お問い合わせ

必要なことを整理している段階ですか?

うまくいっていないことや、つくりたいものをお聞かせください。何が必要か、おおよそいくらかかるか、私たちが適任かどうかをお伝えします。

時間単価は1,400 DKKから(VAT別)で、ご依頼期間が長いほど下がります。

welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン