ETL/ELTパイプライン6本を設計・運用
Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。
実施時期: 2022 – 2024
6 3種類のDBエンジンにまたがるETLパイプライン
状況. IPsec VPNの背後にある遠隔データウェアハウスから、大量の表形式データを統合・処理する必要があった。社内の分析ダッシュボードと、顧客・協力先が利用する外部向けPython APIを動かす重要なデータだった。
課題. データを安全に取得・変換してGoogle BigQueryへ読み込む、堅実な自動ETL/ELTパイプライン群を設計・実装・保守し、システム全体で精度、性能、拡張性を確保することが目的だった。
行動. Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLにまたがる、一貫したETL/ELTパイプライン6本を設計・実装・管理した。
- IPsec VPNで保護された遠隔サーバーへ安全に接続し、データ取得を自動化した。
- Parquet、CSV、.bakを含む圧縮アーカイブのダウンロードを予定・実行した。
- 形式とスキーマに応じてファイルを抽出・分類するBash・Pythonスクリプトを作成した。
- .bakはRESTORE DATABASEの手順でローカルMSSQL Serverへ復元し、スキーマの整合性を検証した。
- 元の形式に応じ、bcp、psql、SSISを用いて、MSSQL・PostgreSQLのステージングスキーマへ表データを読み込んだ。
- 業務ロジックに沿うクレンジング、正規化、情報追加のため、再利用可能なPL/pgSQL・T‑SQL手続きをモジュール化して作成した。
- 整備したデータセットとテーブルを中間形式に出力し、gzipで圧縮してGoogle Cloud Storageバケットへ安全に転送した。
- bq CLIとPythonの取り込みスクリプトで、BigQueryへのアップロードとスキーマ対応付けを自動化した。
結果. 3時間以上の手作業を一連の処理で20分未満へ短縮し、更新頻度も週次から日次同期へ高めた。データを利用するPython APIの性能が30%向上し、可視性の改善によって業務分析担当者が関係者へより早く知見を届けられた。事業の成長に合わせて新たなソースを受け入れられる、拡張性のある構成となった。

写真: SatyaPrem / Pixabay 
写真: dimitrisvetsikas1969 / Pixabay
前の実績: 地理情報データの問題1,000件を解決. すべての実績はこちら: 実績紹介.

