パイプライン

どのようなものか

パイプライン、正式にはデータパイプラインは、決まった順序で実行する
ジョブの集合です。それぞれが前のジョブの出力を受け取り、元のシステム
が作った未加工のレコードを整え、組み合わせ、レポート、ダッシュボー
ド、ほかのプログラムが読める場所へ保存します。名前の由来はUnixシェル
で、一つのコマンドの出力を次へ渡す`|`です。大半のパイプラインは人の
操作を必要とせず、予定した時刻や新しいファイルの到着時に動きます。

一直線のパイプラインは多くありません。その日の売上を取り込むジョブに
は、先に為替レートと顧客一覧の両方が必要かもしれませんが、この二つは
並行して処理できます。ジョブと、その間の「先に終わる必要がある」とい
う矢印が、有向非巡回グラフを作ります。矢印は一方向を向き、自分自身の
完了を待つジョブはありません。こうしたワークフローのスケジュールと監
視を行うオープンソースのプラットフォームApache
Airflowは、一つのグラフをDagと呼びます。DAGと大文字で書かないのは、
Airflowでの意味が、数学的な構造だけではなくなったためです。

バッチ処理のパイプラインは、予定した時刻やイベントをきっかけに起動
し、一日分のメーターの読み取り値など、範囲を限定したデータを処理して
停止します。ストリーミング処理のパイプラインは動き続け、イベントが届
くたびに次へ渡します。Airflowは自身をバッチワークフローの実行を調整
するプラットフォームと説明しており、開始と終了が明確で、定期的に実行
する仕事に向いています。

最も単純なパイプラインは、午前二時にスクリプトを起動するcrontabの一
行です。しかし、複数のスクリプトを順番に動かす必要が生まれ、一つが失
敗すると、どこまで動いたのか、何を再開すべきかを誰かが調べなければな
りません。オーケストレーターは、その記録と管理を引き受けます。グラフ
を保持し、上流のジョブが成功してから各ジョブを起動し、失敗したものを
再試行し、ジョブごと、実行ごとのログを残し、それぞれがどの期間のデー
タを処理したか記録します。Airflowでは、予定された各実行がデータ区間
を受け持ちます。1月1日分の日次実行は、その日が終わった2日の午前零時
過ぎに始まり、ジョブは`data_interval_start`などの境界値を読んで、担
当するデータの範囲を正確に把握できます。

なぜ重要なのか

パイプラインは手順をコードにします。ジョブの順序、途中の検査、失敗し
たときの動作、実行頻度を、一人の記憶から、ほかのソフトウェアと同じよ
うにレビュー、バージョン管理、テストができるファイルへ移します。
Airflowはワークフロー全体をPythonで定義します。この方法を「コードと
してのワークフロー」と呼び、バージョン管理とテストを利点に挙げていま
す。

障害が起きた場所も分かります。全体が一本の長いスクリプトなら、四十分
目の異常終了で、零分目からやり直します。状態を記録するジョブに分ける
と、失敗した実行から、どのジョブがなぜ止まったか分かり、そのジョブと
後続だけを動かし直せます。Airflowでは、運用者が失敗したタスクだけを
再実行したり、過去の期間の実行を補ったりできます。水曜日の修正を月曜
日のデータに適用するのは、この仕組みです。

繰り返しても安全になるのは、それを前提に各ジョブを書いた場合だけで
す。Airflowのベストプラクティスガイドは、タスクが途中結果を残さない
データベーストランザクションのように動き、「再実行のたびに同じ結果を
出す」ことを求めています。そうしたジョブなら、スケジューラーが午前三
時に再試行しても、修正後に再実行しても、先月分をやり直しても、先に保
存先を誰かが点検する必要はありません。

代わりに、管理するソフトウェアが増えます。オーケストレーターを導入す
ると、独自のデータベース、アップグレード、権限を持つサービスが一つ増
え、そこに置くパイプラインもすべて、レビューとテストが必要なコードで
す。二本のスクリプトを同じ予定で実行するだけなら、cronとログファイル
が適切な答えかもしれません。依存関係のあるジョブの数、実行結果を見る
必要がある人の数、途中で止まった取り込みを基に朝のレポートを作るコス
トが増えるほど、オーケストレーターを導入する理由は強くなります。

実際の活用例

あるプラットフォームでは、多数のパイプラインを同じ方法で動かすことが
課題でした。二十本のGISデータパイプラインとアプリケーションデータの
ETLを手作業で配信し、監視していたため、一つが気付かれずに止まり、発
見する前に下流のデータが誤る危険が常にありました。すべてを自動配信の
対象にし、実行予定、ログ、失敗処理を標準化して、同じ動きになり、失敗
が見えるようにしました。既存のインフラ自動化とレポートにも組み込みま
した。その後は二十本すべてが、人の手で一つずつ進めることなく、データ
を最新に保ちながら、自動的かつ予測可能に動きました。

パイプラインは、一つのコマンドで全体を構築することにも使えます。記録
されたある開発段階では、データベース駆動のCV・ポートフォリオ生成ツー
ルが、23テーブルの一つのSQLiteデータベースからすべての文書を作ってい
ました。そのデータベースは、空のファイルから完全なデータベースまでを
構築する19ステップのパイプラインで組み立てていました。各ステップには
順序があり、それぞれを安全に繰り返せるように書いていたため、既存の
データベースに対して実行しても、行が重複しませんでした。その後、合計
10,580行の四十一個のPythonモジュールが、一つのデータ源から六つの出力
形式を生成し、実行時依存関係は二つだけでした。この数値は、記録された
その段階の実装を示すものです。

一つのジョブの中では、順序と同じくらい速度も重要です。電力データを一
時間ごとに集計するパイプラインは、毎時、15分ごと、または不規則な時刻
に届くJSONLデータを取り込み、厳密な一時間の区間に合わせ、発電構成を
合計し、輸入を加え、輸出を差し引いて、一時間、一地域につき一行を作り
ます。Python、JQ、PostgreSQL上のSQLという三つの方法で作り、それぞれ
一日分と三十日分のデータでベンチマークしました。最速はPython版で、一
日分が34
ms、三十日分が180 msでした。地域を増やしたり、ETLパイプラインへ組み
込んだりできるようにコードを書いています。

問題が起きるところ

再実行すると答えが変わります。
毎日のジョブが`INSERT`で集計値を追記し、途中で失敗してスケジューラー
が再試行すると、失敗前に書いた行が二重になります。現在時刻の一日前以
降のデータを選ぶジョブは、初回と再試行で異なる範囲を読み、入力の最新
版を読むジョブは、その間の変更を取り込みます。Airflowのベストプラク
ティスガイドは、この三つすべてを挙げています。`INSERT`をupsertに替
え、実行の`data_interval_start`をキーとする特定のパーティションを読
み書きし、重要な計算には`now()`を使わないことです。PostgreSQLの毎時
集計テーブルなら、一つのトランザクションで区間全体を置き換えるのが単
純な方法です。

```sql
BEGIN;
DELETE FROM hourly_load
WHERE hour_start >= :'start' AND hour_start < :'end';
INSERT INTO hourly_load (zone, hour_start, mwh)
SELECT zone, date_trunc('hour', read_at), sum(mwh)
FROM reading
WHERE read_at >= :'start' AND read_at < :'end'
GROUP BY zone, date_trunc('hour', read_at);
COMMIT;
```

オーケストレーターから実行のデータ区間の開始と終了を渡し、
`psql -v ON_ERROR_STOP=1 -v start=...
i-v end=... -f		engineer.company	70
hourly_load.sql`として動かすと、その区間の行だけを正確に削除して書き
直します。二度目の実行後も、初回と同じテーブルになります。`:'start'`
は、変数をSQLリテラルとして引用符で囲んで挿入する、psql独自の構文で
す。

ジョブは成功しますが、データは間違っています。
オーケストレーターが見ているのは、ジョブのプロセスが正常終了したかど
うかだけです。psqlは分かりやすい例で、既定ではスクリプト内のエラー後
も処理を続け、シェルへ0を返します。そのため、`psql
i-f`を動かす段階は、内部の文が失敗しても成功を報告します。		engineer.company	70
i`ON_ERROR_STOP`を設定すると、最初のエラーで停止し、コード3で終了する		engineer.company	70
iので、失敗すべき段階で失敗します。正常終了だけでは、プログラムが動い		engineer.company	70
iたことしか分かりません。そこでAirflowのガイドは、後続タスクでパー		engineer.company	70
iティションへの書き込みとデータの妥当性を、ほかの処理が読む前に確認す		engineer.company	70
iる、自己検査を勧めています。異常終了せず止まったままの実行には、		engineer.company	70
iAirflow		engineer.company	70
3.0で削除されたSLA機能に代わって3.1で追加されたDeadline
Alertsが、時間のしきい値を超えると、メール送信などのコールバックを起
動します。

パイプラインを有効に戻すと、実行が大量に始まります。
`catchup=True`では、スケジューラーが開始日以降に飛ばしたデータ区間ご
とに実行を作ります。Airflowのドキュメントによると、Dagをしばらく無効
にしてから有効に戻した場合も、この追いつき処理が働きます。毎日のパイ
プラインを一か月止めると、再開時に同じデータ源に対する三十回分が
キューへ入ることがあります。既定の`catchup_by_default=False`なら、最
新の区間についてだけ実行を作ります。自身の区間ではなく現在時刻を読む
ジョブを持つDagは、追いつき処理を無効にすべきだと、ドキュメントは説
明しています。過去の分を埋めるなら、`airflow
backfill
create`で意図して行う方が適切です。このコマンドは、日付範囲と、
`--max-active-runs`による並行実行数の上限を受け取ります。

Dagファイルのトップレベルにある重いコードが、スケジューラーを遅くし
ます。
Airflowは、少なくとも`min_file_process_interval`秒の間隔を空けなが
ら、各Dagファイルを繰り返し解析します。そのため、タスクの外にある
ファイルのトップレベルのコードは、パイプライン本体よりはるかに頻繁に
動きます。そこにあるデータベースクエリー、ネットワーク呼び出し、遅い
インポートは、解析のたびに時間を使います。ベストプラクティスガイドに
は、そうした一つの呼び出しで、Dagの解析に1,000秒が追加される例があり
ます。トップレベルではタスクと順序の宣言だけを行い、コストの大きいイ
ンポートと呼び出しは、必要なタスク関数の内部へ移します。

参考資料

  * Apache Airflow —
Pythonコードとしてのワークフロー、バッチの実行調整、過去の期間の補
完、失敗したタスクだけの再実行について、プロジェクト自身が説明してい
ます。

  * ベストプラクティス — トランザクションとして扱うタスク、毎回同じ
再実行結果、トップレベルのコード、自己検査です。

  * Dag — 実行予定、タスク、依存関係、再試行などの既定の引数をDagで
宣言する方法と、Deadline
Alertsの位置付けです。

  * Dagの実行 — データ区間、追いつき処理、過去の期間の補完、タスクを
再実行するための状態の消去です。

  * タスク — タスクの依存関係、タイムアウト、再試行方針、SLAから
Deadline Alertsへの移行です。

  * psql — 変数と引用符の扱い、`ON_ERROR_STOP`、オーケストレーターが
読む終了コードです。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/pipeline/	engineer.company	70
