変更データキャプチャ

どのようなものか

変更データキャプチャは、通常CDCと略し、データベースで起きた変更を読
み取り、発生に応じて他のシステムへ伝える仕組みです。挿入、更新、削除
のそれぞれがイベントになり、別のシステムがそれに応じて処理できます。
たとえば、最新の状態を保つレポート用のコピー、検索インデックス、注文
が入ったことを知る必要のある別のサービスです。変更が起きるデータベー
スが引き続き正本を管理し、他のシステムはそれに追従します。

変更を見つける方法は、大きく二つあります。単純な方法は、問い合わせる
ことです。数分ごとにクエリを実行し、「最終更新」のタイムスタンプが前
回の実行時刻より新しい行を探します。もう一つは、データベース自身が保
持する変更記録を読む方法です。PostgreSQLは先行書き込みログ（WAL）に
記録しており、文書ではその原則を、データファイルへの変更は、それを記
述するログレコードが永続ストレージへ書き出された後にのみ行われる、と
説明しています。ログにはすでにすべての変更が発生順に残っているため、
それを読めばテーブルへ一切問い合わせずに変更履歴全体を得られます。こ
の二つ目の方法、ログベースのCDCが、現在この用語で通常指すものです。

PostgreSQLでは、この仕組みを論理デコーディングと呼びます。文書では、
「データベースのテーブルに対する永続的な変更をすべて取り出す」こと
で、内部構造を知らなくても読める形式にすると定義しています。三つの要
素が連携します。サーバーはWALに十分な詳細を書き込む必要があり、それ
を制御するのが`wal_level`です。既定値の`replica`はサーバー間でデータ
をコピーするには十分で、`logical`はデコーディングに必要な情報を追加
します。レプリケーションスロットは、一つのデータベースからの変更スト
リームを表し、元の順序で読み取り側へ渡すとともに、そのクライアントが
どこまで読んだかを記憶します。出力プラグインは、WALの内部レコードを
クライアントが求める形式へ変換します。

多くのチームは、読み取りクライアントを自作しません。DebeziumはApache
Kafka
Connect向けに、各データベースのCDC機構から変更を取得するコネクターを
提供しています。PostgreSQLコネクターは、文書でPostgreSQL組み込みの出
力プラグインと説明されている`pgoutput`か、Debeziumコミュニティーが保
守するプラグイン`decoderbufs`を使って読み取ります。DebeziumはJVMアプ
リケーション内のライブラリーとしても、Debezium
Serverとしても実行できます。後者はAmazon Kinesis、Google Cloud Pub/
Sub、Apache
Pulsarなどへ変更イベントを送ります。

なぜ重要なのか

ポーリングのほうが低コストに見え、変更の少ない小さなテーブルでは実際
にそうである場合も少なくありません。Debeziumの文書は、ログを読むこと
で実現でき、ポーリングではできないことを挙げています。ログは変更をす
べて捕捉しますが、クエリに見えるのは実行時点の行の状態だけなので、二
回の実行の間に三回変わった行も一回しか現れません。削除も捕捉できます
が、クエリでは削除済みの行は次の結果から消えるだけです。どの書き込み
経路でも忘れず設定しなければならない「最終更新」フィールドのような追
加の列を、データモデルに設ける必要もありません。行の変更前の状態や、
変更したトランザクションのIDなどのメタデータも運べます。そして、頻繁
なポーリングによるCPU負荷をかけず、ごく短い遅延で変更を届けられま
す。PostgreSQLとMySQLについて、Debeziumはこの遅延をミリ秒単位として
います。

二つ目の理由は、データベースと他のシステムが受け取るメッセージの整合
性です。Debeziumは比較対象となる別の方法を二重書き込みと呼びます。ア
プリケーションが変更をデータベースへ保存し、その後で変更を知らせる
メッセージを送る方法です。この二つの手順の間でプロセスが停止すると、
データベースとメッセージストリームが食い違い、どちらが誤っているかを
示す記録もありません。CDCは二回目の書き込みを不要にします。アプリ
ケーションは一度だけコミットし、メッセージはそのコミット済みの内容か
ら作られます。アウトボックスパターンは、さらに一歩進めます。変更と同
じトランザクションでメッセージ自体をアウトボックステーブルへ書き込
み、CDCがそのテーブルの行を配信します。DebeziumのOutbox
Event Routerは、その効果を、サービス自身の状態と他のサービスが消費す
るイベントとの不整合を避けることだと説明しています。

三つ目は、順序です。以下の例のように、レプリケーションスロットは変更
を発生元のトランザクションごとにまとめ、元のサーバーでの順序を保って
渡します。消費側がその順に適用すれば、一段階ずつ同じ状態を再構築でき
ます。ETLでは、これにより差分ロードを確かなものにできます。夜間の
ジョブは、テーブル全体を読み直したり、一つのコード経路で更新を忘れた
タイムスタンプ列に頼ったりせず、削除も含めて前回の実行以降の変更だけ
を正確に取得できます。

実際の活用例

最小の動作例は、PostgreSQLだけで実行できます。サーバー設定に
`wal_level =
logical`が必要で、この設定は再起動後に初めて有効になります。空きレプ
リケーションスロットも必要です。`max_replication_slots`の既定値は10
です。以下のセッションは、文書内の例と同様にスーパーユーザーで実行
し、その例で使われている出力プラグイン`test_decoding`を用います。こ
のプラグインは各変更を一行のテキストとして出力します。

```sql
i-- postgresql.conf: wal_level = logical（再起動後に有効）		engineer.company	70
SELECT * FROM pg_create_logical_replication_slot('shop_cdc', 'test_decoding');

BEGIN;
INSERT INTO orders (id, status) VALUES (42, 'pending');
INSERT INTO outbox (id, event) VALUES (7, 'order 42 placed');
COMMIT;

SELECT data FROM pg_logical_slot_peek_changes('shop_cdc', NULL, NULL);
i-- BEGIN 10301		engineer.company	70
i-- table public.orders: INSERT: id[integer]:42 status[text]:'pending'		engineer.company	70
i-- table public.outbox: INSERT: id[integer]:7 event[text]:'order 42 placed'		engineer.company	70
i-- COMMIT 10301		engineer.company	70

SELECT data FROM pg_logical_slot_get_changes('shop_cdc', NULL, NULL);
i-- 同じ四行を返して消費するため、二度目の呼び出しでは何も返らない		engineer.company	70

SELECT pg_drop_replication_slot('shop_cdc');
```

注文とそのアウトボックスメッセージは、それらを書き込んだトランザク
ション内にまとまって出てきます。`pg_logical_slot_peek_changes`はス
ロットを進めずに読むため、次の呼び出しでも同じ行を返します。一方、
`pg_logical_slot_get_changes`はそれらを消費します。論理デコーディン
グはDDLを伝えないため、`CREATE
TABLE`では空の`BEGIN`と`COMMIT`しか出ません。最も重要なのは最後の行
です。放置したスロットは、サーバーの資源を確保し続けます。

本番では、Debeziumが読み取り役になります。PostgreSQLコネクターは初回
起動時に、捕捉対象のテーブルについて整合性のあるスナップショットを取
得し、その取得時点からの変更をストリーム配信します。`snapshot.mode`
の既定値`initial`では、保存済みのオフセットがない場合にだけスナップ
ショットを取得するため、再起動時は最後に記録した位置から再開します。
各イベントには、行の変更前後の状態を示す`before`と`after`、`source`
ブロック、タイムスタンプ、`op`コードが含まれます。`c`は作成、`u`は更
新、`d`は削除、`r`はスナップショット中に読み取った行、`t`は切り詰め
を表します。削除後には、同じキーで値がnullのイベント、トゥームストー
ンも出力し、Kafkaのログコンパクションで、そのキーの以前のメッセージ
を除去できるようにします。

この記事の二つのパターンは、会社自身のページにも登場します。2022年か
ら2024年にかけて、創業者は複数のPostgreSQL開発・本番環境にわたり、
PL/pgSQLで600本のETL/ELTパイプラインを構築しました。CDCとタイムスタ
ンプに基づく差分を使った、差分ロードも含まれます。最後のチケットを一
度だけ売るというノートでは、アウトボックスを中心にフラッシュセールを
設計しています。各手順は変更と同じトランザクションでメッセージをアウ
トボックスへ記録し、変更データキャプチャがそれを配信します。メッセー
ジは複数回届く可能性があるため、各消費側は注文をキーとして冪等に動作
します。

問題が起きるところ

スロットが保持する量に上限がありません。
スロットは、消費側が確認していないWALをすべて保持し、PostgreSQLの既
定設定はその量を制限しません。`max_slot_wal_keep_size`は`-1`で、ス
ロットによるWALの無制限な保持を許します。
`idle_replication_slot_timeout`は`0`で、使われていないスロットの無効
化を停止します。そのため、失敗したデプロイ中に停止したコネクターが、
誰もがその存在を忘れた後までディスクを埋め続けることがあります。
`pg_replication_slots`で非アクティブになったスロットを監視し、
`max_slot_wal_keep_size`をディスクで許容できる量に設定します。ただ
し、保持上限を超えるほど遅れた消費側は、再開できなくなる可能性があり
ます。復旧には新しいスロットが必要で、新しいスロットは現在から始まり
ます。Debeziumは、スロットを削除して作り直すと、その間のイベントを気
付かずに飛ばす場合があると警告しているため、その後は新たなスナップ
ショットを取得します。

変更の少ないテーブルが、ログの保持を長引かせます。
Debeziumの文書は、より気付きにくい事例も説明しています。スロットは一
つのデータベースに属し、コネクターは捕捉対象の変更を見たときだけ、確
認済みの位置を進めます。対象テーブルがほとんど変わらない一方で、他の
テーブルや同じサーバー上の他のデータベースに大量の書き込みがあると、
位置はほぼ動かず、保持されたWALが増え続けます。対策はハートビートで
す。`heartbeat.interval.ms`で、設定間隔ごとにハートビートイベントを
出力し、`heartbeat.action.query`で、捕捉対象のデータベース内の小さな
テーブルへ定期的に書き込めます。そのテーブルは、コネクターが読むパブ
リケーションに含める必要があります。そうすれば、他の変更がないときも
スロットが進みます。

消費側が、各変更は一度だけ届くと思い込んでいます。
論理スロットは通常の動作では各変更を一度だけ出力しますが、位置を保存
するのはチェックポイント時だけなので、クラッシュ後には前の位置へ戻
り、直近の変更を再送する場合があります。PostgreSQLの文書は、その影響
への対処をクライアントに委ねています。各金額を累計に加える消費側な
ら、同じ変更を二重に数えてしまいます。各消費側を冪等にします。行の主
キーをキーとするupsertとして変更を適用するか、処理済みイベントのIDを
記録し、二回目の配信では何も変わらないようにします。

更新と削除が、変更前の値を伴わず届きます。
更新・削除イベントに以前の行のどの情報が含まれるかは、テーブルのレプ
リカアイデンティティーによって決まります。`REPLICA
IDENTITY
DEFAULT`では、Debeziumのイベントが保持する変更前の値は、多くても主
キーの値だけであり、主キーのないテーブルについては更新イベントも削除
イベントも生成しません。`REPLICA
IDENTITY
FULL`は、変更前の全列の値を`before`へ入れますが、代償があります。
PostgreSQLの文書は、特に多数の`UPDATE`と`DELETE`を実行する場合、WAL
の量が増えると指摘しています。捕捉するすべてのテーブルに主キーを設
け、古い値を消費側が必要とするテーブルだけを`FULL`に切り替えます。

参考資料

  *
Debeziumの機能：ポーリングや二重書き込みでは捉えられない、ログベース
CDCで捕捉できるものと、スナップショット、フィルター、マスキングを説
明します。

  *
DebeziumのPostgreSQLコネクター：出力プラグイン、スナップショット、変
更イベントの形式、レプリカアイデンティティー、WALのディスク容量を説
明します。

  * 論理デコーディングの概念：レプリケーションスロット、出力プラグイ
ン、不要なスロットを削除すべき理由を説明します。

  * 論理デコーディングの例：スロットの作成、変更の参照と消費、最後の
スロット削除を示します。

  *
レプリケーションのサーバー設定：`max_replication_slots`、
`max_slot_wal_keep_size`、`idle_replication_slot_timeout`を説明しま
す。

  * Outbox Event
Router：アウトボックスパターンと、Debeziumがアウトボックスの行をト
ピックへ振り分ける仕組みを説明します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/change-data-capture/	engineer.company	70
