PostgreSQL・MS SQL・BigQueryのデータウェアハウス100個を運用
主にGIS・時系列データを扱うPostgreSQL、MS SQL、Google
BigQueryのデータウェアハウス100個を設計・構築・管理し、性能と拡張性
を最適化した。
2022 – 2024

状況. 急成長する技術企業で、PostgreSQL、Microsoft SQL Server、Google
BigQueryにまたがる100個以上の多様なデータベースを構築・管理・最適化
する必要があった。主な対象は、空間座標や位置に基づく分析などのGIS
データと、センサー値、ログ、リアルタイム指標などの時系列データだっ
た。データ量が指数関数的に増えるなか、既存インフラには拡張性、クエリ
性能、データの一貫性の課題があった。信頼性を確保し、運用費用を抑える
堅実な設計が必要だった。

課題.
GIS・時系列データに適した、拡張可能で高性能なデータウェアハウス環境
を設計・実装・管理することが主目的だった。具体的には次を含んだ:

  * 複雑な空間・時間クエリの性能上のボトルネックに対応する。

  * 費用対効果を保ちながら、増えるデータ量に対応する拡張性を確保す
る。

  * データサイエンティストやプロダクトマネージャーなどと部門横断で協
働し、設計を業務ニーズに合わせる。

行動. 目標に向け、次を実施した:

1. 拡張可能な設計:

  * PostgreSQLとSQL
Serverに正規化・非正規化スキーマを作成し、PostgreSQLのPostGISなどの
空間インデックスと時系列パーティションで性能を最適化した。

  * BigQueryの時間パーティション・クラスタ化テーブルで、大規模時系列
データを効率的に扱った。

2. 最適化方針の実装:

  * インデックス、マテリアライズドビュー、キャッシュで、GIS・時系列
クエリの遅延を減らした。

  * BigQueryにデータ圧縮と列指向保存を適用し、保存費用とスキャン時間
を削減した。

3. 異なる基盤間の連携:

  * GIS・時系列データモデリングの適切な実務慣行を記録し、今後のプロ
ジェクトの指針とした。

結果. 取り組みにより、次の改善を得た:

  * 性能: GIS・時系列のクエリ応答時間を40–60%減らし、分析と判断を迅
速化した。

  * 運用の信頼性: 自動監視で停止時間を50%削減し、標準化した工程で
チームの生産性を高め、誤りを減らした。

  * 事業への効果:
最適化した基盤によってリアルタイム分析ダッシュボードなどの新しいデー
タ製品を公開でき、データガバナンスに関する規制要件への対応も可能に
なった。

複雑なデータ課題に対応する組織の力を確かなものにした。

カテゴリー:
1プラットフォーム設計	/ja/categories/platform-architecture/	engineer.company	70
1データベース	/ja/categories/databases/	engineer.company	70
1PostgreSQL	/ja/categories/postgresql/	engineer.company	70
1SQL	/ja/categories/sql/	engineer.company	70
1データウェアハウス	/ja/categories/data-warehousing/	engineer.company	70
1データエンジニアリング	/ja/categories/data-engineering/	engineer.company	70
1データガバナンス	/ja/categories/data-governance/	engineer.company	70
1信頼性・バックアップ	/ja/categories/reliability/	engineer.company	70
1性能改善	/ja/categories/performance/	engineer.company	70
1GIS・地理空間情報	/ja/categories/gis/	engineer.company	70

サービス:
1GIS・地理空間ソリューション	/ja/services/gis-geospatial/	engineer.company	70
1データベース設計・モデリング	/ja/services/database-design/	engineer.company	70
1データベース管理（DBA）	/ja/services/database-administration/	engineer.company	70
1データベース性能改善	/ja/services/database-performance/	engineer.company	70
1データウェアハウス設計	/ja/services/data-warehousing/	engineer.company	70

hこのページのウェブ版	URL:https://engineer.company/ja/portfolio/ran-100-postgresql-ms-sql-bigquery-warehouses/	engineer.company	70
