30日分の電力データを180 msで処理
Python、SQL、Bash +
Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、
30日分のJSONLデータセット1つを180
msで処理した。
2025

状況.
同社は複数のソースから来る、形式の異なる大量の電力データを処理してい
た。報告間隔も1時間ごとから15分ごとまで異なり、不規則な時刻の記録も
あった。この違いが、一貫して比較できるデータセットの作成を難しくして
いた。正確な電力分析のため、データを一定の時間別消費量へ正規化し、地
域ごとに集計する必要があった。

課題.
JSONL形式の履歴データにある生のイベントを、1時間・1地域につき1行の、
時刻のそろった電力消費量へ変換することが目的だった。具体的な作業は次
のとおりだった:

  * 時刻付きデータを厳密な1時間間隔にそろえる。

  * 電源構成の値を加算し、各区間の総発電量を集計する。

  * 輸入を加え輸出を差し引き、国境を越える電力融通を反映する。

  * 続く分析に適した、構造化され拡張可能な形式で結果を出力する。

  * さらに、30日以上の長期間と複数の国・地域にも対応できる処理効率が
必要だった。

行動. Python、コマンドラインJSON処理用のJQ、SQLの3通りを実装し、それ
ぞれ異なる状況に合わせて最適化した:

Pythonは、柔軟性、データ操作のしやすさ、メモリー内変換の効率から選ん
だ。純粋なPython関数を使い、次のパイプラインを構築した:

  * JSONLファイルをデータフレームへ読み込む。

  * 時系列を1時間間隔に再サンプリングする。

  * 発電量を集計し、正味消費量（発電 + 輸入 − 輸出）を計算する。

  * CSVへ出力するか、確認用の軽量SQLiteデータベースへ読み込む。

JQでは、コマンドライン環境向けに、依存関係が少なく素早く使えるフィル
ターチェーンを構築した。

PostgreSQLではJSONLデータを取り込み、正規化テーブルを作成して一連の
SQLクエリを記述した。

性能評価には、各実装で1日分と30日分の履歴データを使用した。

結果. Python実装が最も速く、拡張性も高い結果となった:

  * 1日分の処理は34 ms。

  * 30日分のデータセットは180 ms。

この結果から、1秒未満の性能を保ちながら長期間を扱えることを確認し
た。コードも明確で保守しやすく、複数地域への拡張やETLパイプラインへ
の組み込みが容易だった。

複数ツールでの実装を通じ、現実の電力データパイプラインにおける時刻合
わせと集計の課題に、柔軟な道具選びと性能最適化をもって対応できること
を示した。

カテゴリー:
1データベース	/ja/categories/databases/	engineer.company	70
1PostgreSQL	/ja/categories/postgresql/	engineer.company	70
1SQL	/ja/categories/sql/	engineer.company	70
1データエンジニアリング	/ja/categories/data-engineering/	engineer.company	70
1データパイプライン（ETL/ELT）	/ja/categories/data-pipelines/	engineer.company	70
1データ分析	/ja/categories/data-analytics/	engineer.company	70
1自動化・CI/CD	/ja/categories/automation/	engineer.company	70
1性能改善	/ja/categories/performance/	engineer.company	70
1Python	/ja/categories/python/	engineer.company	70

サービス:
1データベース性能改善	/ja/services/database-performance/	engineer.company	70
1データパイプライン開発（ETL/ELT）	/ja/services/data-pipeline-development/	engineer.company	70
1データ分析・BIダッシュボード	/ja/services/data-analytics-bi/	engineer.company	70

hこのページのウェブ版	URL:https://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/	engineer.company	70
