本文へ移動
Engineer
メニュー
デザイン
日本語

Engineer / 実績紹介

ETL/ELTパイプライン6本を設計・運用

Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLを用いて6本のETL/ELTパイプラインを設計・実装・管理し、Python APIで効率的に処理できるようデータを統合した。

状況. IPsec VPNの背後にある遠隔データウェアハウスから、大量の表形式データを統合・処理する必要があった。社内の分析ダッシュボードと、顧客・協力先が利用する外部向けPython APIを動かす重要なデータだった。

課題. データを安全に取得・変換してGoogle BigQueryへ読み込む、堅実な自動ETL/ELTパイプライン群を設計・実装・保守し、システム全体で精度、性能、拡張性を確保することが目的だった。

行動. Google BigQuery、MSSQL、PostgreSQL、Shellスクリプト、PL/pgSQL、Transact‑SQLにまたがる、一貫したETL/ELTパイプライン6本を設計・実装・管理した。

  • IPsec VPNで保護された遠隔サーバーへ安全に接続し、データ取得を自動化した。
  • Parquet、CSV、.bakを含む圧縮アーカイブのダウンロードを予定・実行した。
  • 形式とスキーマに応じてファイルを抽出・分類するBash・Pythonスクリプトを作成した。
  • .bakはRESTORE DATABASEの手順でローカルMSSQL Serverへ復元し、スキーマの整合性を検証した。
  • 元の形式に応じ、bcp、psql、SSISを用いて、MSSQL・PostgreSQLのステージングスキーマへ表データを読み込んだ。
  • 業務ロジックに沿うクレンジング、正規化、情報追加のため、再利用可能なPL/pgSQL・T‑SQL手続きをモジュール化して作成した。
  • 整備したデータセットとテーブルを中間形式に出力し、gzipで圧縮してGoogle Cloud Storageバケットへ安全に転送した。
  • bq CLIとPythonの取り込みスクリプトで、BigQueryへのアップロードとスキーマ対応付けを自動化した。

結果. 3時間以上の手作業を一連の処理で20分未満へ短縮し、更新頻度も週次から日次同期へ高めた。データを利用するPython APIの性能が30%向上し、可視性の改善によって業務分析担当者が関係者へより早く知見を届けられた。事業の成長に合わせて新たなソースを受け入れられる、拡張性のある構成となった。

お問い合わせ

必要なことを整理している段階ですか?

うまくいっていないことや、つくりたいものをお聞かせください。何が必要か、おおよそいくらかかるか、私たちが適任かどうかをお伝えします。

時間単価は1,400 DKKから(VAT別)で、ご依頼期間が長いほど下がります。

welcome@engineer.company +45 50 10 61 84 デンマーク、コペンハーゲン