レプリケーション

どのようなものか

レプリケーションは、データベースの複製を別のサーバーに置き、元のデー
タベースの各変更を送って、状態をそろえる仕組みです。文脈が曖昧なら、
データベースのレプリケーションと呼びます。PostgreSQLのドキュメント
は、書き込みを受け付ける一台をプライマリー、それに追従するサーバーを
スタンバイと呼びます。Redisは、マスターとレプリカという言葉を使いま
す。

PostgreSQLには二種類あり、複製するものが違います。

物理レプリケーションは、データファイルへ届く前に、すべての変更を記録
する、先行書き込みログ（WAL）を複製します。スタンバイは、ログを再生
し、クラスター全体の、ブロック単位で同じ複製になります。ストリーミン
グレプリケーションでは、完成したWALファイルを転送するまで待たず、プ
ライマリーとの接続を開いたまま、生成されたWALレコードを受け取りま
す。再生だけを行い、昇格するまで接続を受け付けないものを、ウォームス
タンバイ、読み取り専用のクエリーにも答えるものを、ホットスタンバイと
呼びます。

論理レプリケーションは、行への変更を複製します。パブリッシャーが、選
んだテーブルへの挿入、更新、削除を送り、サブスクライバーが、自分の
テーブルへ適用します。各行は、通常は主キーを使うレプリカアイデンティ
ティーで識別します。ディスクのブロックではなく行を扱うため、クラス
ター全体ではなく、一部のテーブルだけを運べ、違うメジャーバージョンの
PostgreSQLへも送れます。

ストリーミングレプリケーションは、既定で非同期です。プライマリーは、
WALを自分のディスクへ置くと、コミットに成功応答を返し、その後で転送
します。ドキュメントによると、スタンバイが追い付ける場合の遅れは、通
常一秒未満です。同期レプリケーションを有効にすると、スタンバイにも
WALが保存されるまで、コミットが待ちます。

なぜ重要なのか

一つ目の理由は、サーバーを失っても継続することです。プライマリーが故
障したら、既にデータを持つスタンバイを昇格させ、通信を引き継がせるこ
とができます。新しいマシンへバックアップを復元するより、はるかに早く
行えます。

二つ目は、読み取りの分散です。多くのアプリケーションでは、クエリーの
大半は読み取りだけなので、ホットスタンバイが応答し、プライマリーは、
自分にしかできない書き込みに専念できます。

三つ目は、データの移動です。論理レプリケーションは、レポート用データ
ベースが必要とするテーブルだけを複製したり、別のメジャーバージョンの
PostgreSQLのサーバーへデータを運んだりできます。

どの複製でも、待ち時間を受け入れるか、データを失うリスクを受け入れる
かを選びます。非同期レプリケーションは、コミットの経路に待ち時間を加
えませんが、スタンバイは、常に少し遅れます。読み取りが、直前の書き込
みを見落とす場合があり、プライマリーが止まると、成功応答済みのコミッ
トが、引き継ぐスタンバイへ届かないままになる場合もあります。同期レプ
リケーションは、その隙間を閉じ、すべてのコミットへ、ネットワークの一
往復を加えます。

レプリケーションは、バックアップではありません。スタンバイは、誤って
`DELETE`から`WHERE`を省いた場合も忠実に再生し、すぐに、すべての複製
が同じ誤りを持ちます。取り消すには、やはりバックアップが必要です。

実際の活用例

店が、一台のプライマリー`10.0.0.1`でデータベースを動かし、二台目の
`db2`をストリーミングレプリカとして加える例です。`db2`にPostgreSQLを
インストールし、そのPostgreSQLを停止した状態で、次を実行します。

```sh
pg_basebackup -h 10.0.0.1 -U replicator -D /srv/pgdata \
    -R -C -S db2_slot -P
```

`pg_basebackup`は、稼働中のクラスター全体を、`-D`で指定したディレク
トリーへ複製します。なければ作成し、既存なら空でなければなりません。
既定では、複製中に生成されるWALも、並行してストリーミングします。`-C
i-S		engineer.company	70
db2_slot`は、まずプライマリーにレプリケーションスロットを作り、新し
いスタンバイが受け取るまで、各WALレコードを保持させます。`-R`は、
`standby.signal`ファイルを作り、スロットを含む接続設定を
`postgresql.auto.conf`へ追記します。`-P`は、進捗を表示します。
`replicator`ロールには、`REPLICATION`属性か、スーパーユーザー権限が
必要で、プライマリーの`pg_hba.conf`も、複製の接続を許可する必要があ
ります。

`db2`でPostgreSQLを起動すると、`standby.signal`によって、スタンバイ
として立ち上がり、プライマリーからストリーミングで受信します。
`hot_standby`は既定で有効なため、整合性のある状態になると、読み取り
専用のクエリーを受け付けます。プライマリーでは、スタンバイごとに一行
で、状態を確認できます。

```sql
SELECT application_name, state, sync_state, replay_lsn, replay_lag
FROM   pg_stat_replication;
```

正常なレプリカは、`state`が`streaming`、`sync_state`が`async`になり
ます。`replay_lag`は、最近のコミットが、そのレプリカで見えるまでの時
間の概算です。スタンバイが追い付き、WALの活動が止まると、ゼロではな
くNULLへ戻ります。

シャーディングの前にデータベースを最適化するノートは、店がこうする理
由を説明します。通信の大半は、商品ページ、カート、注文履歴などの読み
取りです。どれにも、書き込みの余力を保つ必要があるプライマリーは不要
です。ストリーミングレプリカが読み取りを引き受けます。ノートは、レプ
リカの追加は設定だが、シャードは一つのプロジェクトだと指摘します。注
意点も二つ挙げています。レプリカは少し遅れるため、利用者が今書いたも
のは、プライマリーから読みます。また、レプリカ上の長いレポートは、変
更の再生を妨げると、キャンセルされる場合があります。

コミットをスタンバイ待ちにするには、プライマリーで一つ設定します。各
スタンバイの名前は、`application_name`で指定し、その値は
`primary_conninfo`に含めます。プライマリー側に、待機対象にできるスタ
ンバイの名前を列挙します。

```ini
synchronous_standby_names = 'ANY 1 (db2, db3)'
```

これで、各コミットは、プライマリーと、`db2`か`db3`の少なくとも一方の
ディスクへWALが保存されるまで待ちます。`synchronous_commit`は、利用
者、データベース、トランザクションごとに設定できるため、決済を伴う注
文は待ち、ページビューのカウンターは、ローカルの速さでコミットできま
す。最後の一枚を一度だけ売るノートは、在庫にとっての重要性を説明しま
す。非同期では、プライマリーが販売に成功応答を返した後、レプリカへ届
く前に止まると、昇格したレプリカには、その販売がなく、同じ一個を再び
売ってしまいます。ノートの対策は、同期スタンバイか、Raftに基づくスト
アで、すべてのコミットにレイテンシーが増える代償を伴います。

論理レプリケーションには、二つの文を使います。パブリッシャーには、
`wal_level =
logical`が必要で、定義は複製されないため、テーブルは、サブスクライ
バーに既に存在する必要があります。

```sql
i-- on the publisher		engineer.company	70
CREATE PUBLICATION shop_pub FOR TABLE orders, customers;

i-- on the subscriber		engineer.company	70
CREATE SUBSCRIPTION shop_sub
    CONNECTION 'host=10.0.0.1 dbname=shop user=replicator'
    PUBLICATION shop_pub;
```

サブスクリプションは、まず、これらのテーブルに既にある行を複製し、そ
の後のすべての変更を適用します。

問題が起きるところ

利用者が、今書いたものを読めません。
アプリケーションがプライマリーへ書き、まだ少し遅れたレプリカから読む
ため、保存した設定が元へ戻ったように見えます。書き込み後、短い間は、
その利用者の読み取りを、プライマリーへ送ります。コミットが返った瞬間
に、スタンバイでも見える必要があれば、`synchronous_commit
i= remote_apply`が、同期スタンバイでトランザクションを再生するまで待		engineer.company	70
iちますが、コミットごとのコストは上がります。		engineer.company	70

レプリカの長いクエリーが、キャンセルされます。
スタンバイは、実行中のクエリーと衝突する変更を再生する必要がありま
す。たとえば、まだクエリーから見える行の版をvacuumが除く場合や、
`DROP
TABLE`や多くの形式の`ALTER
TABLE`が、排他的ロックを取る場合です。再生は、
`max_standby_streaming_delay`で設定する時間（既定は30秒）を上限に待
ち、それからクエリーをキャンセルします。レポート用のレプリカには、長
い待ち時間を与えられますが、その間、さらに遅れます。
`hot_standby_feedback
i=		engineer.company	70
on`は、vacuumが原因のキャンセルを止めますが、ドキュメントは、プライ
マリーを肥大化させ得ると警告します。スタンバイの
`pg_stat_database_conflicts`が、原因別にキャンセルを数え、アプリケー
ションは、キャンセルされたクエリーを再試行すべきです。

忘れられたスロットが、プライマリーのディスクを埋めます。
スロットは、スタンバイが停止中や、既に存在しなくても、受け取るまで
WALを保持します。`max_slot_wal_keep_size`は、既定で-1、つまり無制限
です。定期的に、スロットを確認します。

```sql
SELECT slot_name, active, wal_status, safe_wal_size
FROM   pg_replication_slots;
```

スタンバイがなくなったスロットは、削除します。
`max_slot_wal_keep_size`を設定すると、保持できる量に上限が付き、それ
以上に遅れたスタンバイのスロットは無効になり、`wal_status`は`lost`を
示します。既定ではオフの`idle_replication_slot_timeout`は、指定時間
より長く非稼働だったスロットを無効にします。

同期スタンバイが止まると、書き込みも止まります。
名前を指定したスタンバイが一台だけで、それが停止すると、プライマリー
の全コミットが待ち、いつまでも完了しない場合があります。`ANY 1
(db2,
db3)`のように、必要な台数より多くの候補を指定します。それが無理な
ら、台数を下げるか、`synchronous_standby_names`を空にし、設定を再読
み込みします。

二台が、どちらもプライマリーだと考えます。 PostgreSQLは、
`pg_ctl promote`や`SELECT
pg_promote()`で指示されると、スタンバイを昇格させますが、プライマ
リーの故障を検知する独自のソフトウェアはなく、以前のプライマリーが
戻って、書き込みを受け付けることも止めません。ドキュメントは、「混乱
と、最終的にはデータ損失」を招くと警告します。昇格前に、以前のプライ
マリーを、電源を切るかネットワークを断って隔離し、戻す前に、スタンバ
イとして再構築します。

論理レプリケーションでは、複製しないものがあります。
スキーマ変更は複製しないため、パブリッシャーで列を追加すると、サブス
クライバーにもできるまで、複製が止まります。スキーマに要素を追加する
変更は、先にサブスクライバーへ適用します。シーケンスも複製しません。
行はID付きで届いても、サブスクライバーのシーケンスは、開始値のまま
で、切り替え後の挿入は、キーの重複で失敗します。切り替える前に、各
シーケンスを、使用中の最大値より先へ進めます。

Redisのマスターが、空で再起動し、レプリカも巻き込みます。
マスターの永続化が無効で、何らかの仕組みがマスターを自動再起動する
と、空のデータセットで戻り、レプリカも、それを複製して、自分のデータ
を削除します。永続化を有効に保つか、マスターを自動再起動させないよう
にします。

参考資料

  * 高可用性 — PostgreSQLの、プライマリーとスタンバイ、同期と非同期
の複製、フェイルオーバーの概要です。

  * ログ転送によるスタンバイサーバー — ストリーミングレプリケーショ
ン、レプリケーションスロット、同期の設定方法です。

  * ホットスタンバイ —
スタンバイでの読み取り専用クエリー、キャンセルを起こす衝突、遅れと
キャンセルのトレードオフを決める設定です。

  * pg_basebackup — 稼働中のクラスターを複製してスタンバイを始める方
法で、前述の全オプションを説明します。

  * 制限事項 — 論理レプリケーションが運ばない、スキーマ、シーケン
ス、ラージオブジェクト、テーブル以外のすべてです。

  * Redisのレプリケーション — マスターへ追従する方法、非同期である理
由、永続化せずに再起動する危険です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/replication/	engineer.company	70
