{"canonical_url":"https://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/","content_markdown":"# 30日分の電力データを180 msで処理\n\nPython、SQL、Bash + Jqで時間別の電力消費量を集計する複数の実装を構築。Pythonの測定では、30日分のJSONLデータセット1つを180 msで処理した。\n\n2025\n\n**状況.** 同社は複数のソースから来る、形式の異なる大量の電力データを処理していた。報告間隔も1時間ごとから15分ごとまで異なり、不規則な時刻の記録もあった。この違いが、一貫して比較できるデータセットの作成を難しくしていた。正確な電力分析のため、データを一定の時間別消費量へ正規化し、地域ごとに集計する必要があった。\n\n**課題.** JSONL形式の履歴データにある生のイベントを、1時間・1地域につき1行の、時刻のそろった電力消費量へ変換することが目的だった。具体的な作業は次のとおりだった:\n\n- 時刻付きデータを厳密な1時間間隔にそろえる。\n- 電源構成の値を加算し、各区間の総発電量を集計する。\n- 輸入を加え輸出を差し引き、国境を越える電力融通を反映する。\n- 続く分析に適した、構造化され拡張可能な形式で結果を出力する。\n- さらに、30日以上の長期間と複数の国・地域にも対応できる処理効率が必要だった。\n\n**行動.** Python、コマンドラインJSON処理用のJQ、SQLの3通りを実装し、それぞれ異なる状況に合わせて最適化した:\n\nPythonは、柔軟性、データ操作のしやすさ、メモリー内変換の効率から選んだ。純粋なPython関数を使い、次のパイプラインを構築した:\n- JSONLファイルをデータフレームへ読み込む。\n- 時系列を1時間間隔に再サンプリングする。\n- 発電量を集計し、正味消費量（発電 + 輸入 − 輸出）を計算する。\n- CSVへ出力するか、確認用の軽量SQLiteデータベースへ読み込む。\n\nJQでは、コマンドライン環境向けに、依存関係が少なく素早く使えるフィルターチェーンを構築した。\n\nPostgreSQLではJSONLデータを取り込み、正規化テーブルを作成して一連のSQLクエリを記述した。\n\n性能評価には、各実装で1日分と30日分の履歴データを使用した。\n\n**結果.** Python実装が最も速く、拡張性も高い結果となった:\n\n- 1日分の処理は34 ms。\n- 30日分のデータセットは180 ms。\n\nこの結果から、1秒未満の性能を保ちながら長期間を扱えることを確認した。コードも明確で保守しやすく、複数地域への拡張やETLパイプラインへの組み込みが容易だった。\n\n複数ツールでの実装を通じ、現実の電力データパイプラインにおける時刻合わせと集計の課題に、柔軟な道具選びと性能最適化をもって対応できることを示した。\n\n---\n\n- 役割: プラットフォーム・データエンジニア\n- カテゴリー: [データベース](https://engineer.company/ja/categories/databases/), [PostgreSQL](https://engineer.company/ja/categories/postgresql/), [SQL](https://engineer.company/ja/categories/sql/), [データエンジニアリング](https://engineer.company/ja/categories/data-engineering/), [データパイプライン（ETL/ELT）](https://engineer.company/ja/categories/data-pipelines/), [データ分析](https://engineer.company/ja/categories/data-analytics/), [自動化・CI/CD](https://engineer.company/ja/categories/automation/), [性能改善](https://engineer.company/ja/categories/performance/), [Python](https://engineer.company/ja/categories/python/)\n- サービス: [データベース性能改善](https://engineer.company/ja/services/database-performance/), [データパイプライン開発（ETL/ELT）](https://engineer.company/ja/services/data-pipeline-development/), [データ分析・BIダッシュボード](https://engineer.company/ja/services/data-analytics-bi/)\n\n\u003chttps://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/\u003e\n","date_modified":"2026-11-15T19:47:44Z","description":"Python、SQL、Bash + Jqで電力消費量の集計を実装・測定し、Pythonで30日分のJSONLデータセットを180 msで処理した。","formats":{"gemtext":"https://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.gmi","gopher":"https://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/gophermap","html":"https://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/","json":"https://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.json","markdown":"https://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.md","pdf":"https://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/index.pdf"},"kind":"page","language":"ja","title":"180 msで集計する時間別電力パイプラインを構築","url":"https://engineer.company/ja/portfolio/a-month-of-meter-readings-in-180-milliseconds/","version":1}