カナリアリリース

どのようなものか

カナリアリリースは、まず、サービスの実際のトラフィックの小さな割合だ
けに新版を提供し、置き換えられる旧版で、それ以外のすべてを処理し続け
る方法です。新版が問題なく動けば、段階的に割合を増やし、最後にすべて
を任せ、旧版を廃止します。うまく動かなければ、停止していなかった旧版
へトラフィックを戻し、不具合を経験するのは、その小さな割合だけで済み
ます。Danilo
Satoは、2014年6月にMartin Fowlerのblikiでこの手法を説明し、phased
rollout（段階的な展開）やincremental
rollout（少しずつ進める展開）とも呼ばれると記しています。Kubernetes
のツールでは、カナリアデプロイ（canary
deployment）と呼ぶことが多く、この種のリリース戦略を追加する
Kubernetesコントローラー、Argo
Rolloutsは、設定名を`canary`としています。

名前は炭鉱に由来します。鉱夫は、籠に入れたカナリアを地下へ連れて行き
ました。漏れたガスの影響が人に及ぶ前に鳥が弱るため、その異変が、外へ
出る警告になったからです。トラフィックの小さな割合も、同じ役割を果た
します。まだ対処する時間がある間に、先に問題に遭遇します。

その割合に誰を含めるかは、選択です。Satoは、無作為に抽出した利用者、
一般公開前の自社の従業員、プロファイルや人口統計的な属性で選ぶ利用者
を挙げています。大きなシステムでは、代わりに、すでにある区分を使い、
一つの地域、拠点、ブランドから始めることもよくあります。Satoの説明に
よると、Facebookは複数のカナリアを使い、最初のものは従業員だけに公開
し、すべての機能フラグを有効にして、新機能の問題を早く見つけていまし
た。

ブルーグリーンデプロイとの違いは、移し方です。ブルーグリーンは、二つ
目の完全なコピーを構築し、一度の切り替えで全トラフィックを移し、旧コ
ピーを戻る先として残します。カナリアは、トラフィックを徐々に移すた
め、しばらくの間、二つのバージョンが並んで実際の利用者へ応答します。
ローリングアップデートも、二つのバージョンを同時に動かしますが、準備
が整う速さに合わせてインスタンスを置き換え、新版の調子を判断するため
に停止しません。カナリアは、各段階で止まり、その判断を待ちます。

なぜ重要なのか

本番で、実際の負荷、データ、クライアントの組み合わせにさらされて初め
て現れる不具合があります。ステージング環境は近づけられても、同一には
なりません。カナリアは、それを受け入れ、代わりに被害を限定します。二
十件に一件が新版へ届くなら、悪いリリースの影響は、気付くまでの間、二
十件に一件に限られ、対処は、その分を旧版へ戻すことです。

Satoは、二つ目の用途として、処理能力のテストを挙げます。割合をゆっく
り増やせば、安全に戻す手段を持ちながら、本番の負荷が増えたときの新版
の動作を確認できます。負荷テスト専用の環境を別に構築しても、本番その
ものほど本番に近くはできません。

ただし、カナリアの良し悪しは、それを判断する信号に依存します。エ
ラー、遅延、登録・支払い・注文などの重要な業務数値が、バージョンごと
に、次の段階を止められるだけ早く見える必要があります。それがなけれ
ば、カナリアは、待ち時間を増やした遅い展開にすぎません。Satoは、IMVU
が、業務指標を監視し、統計的に有意な悪化があれば自動でリリースを戻
す、「クラスタの免疫システム」と呼ばれる仕組みを先駆けて実践したと記
しています。

運用上の負担もあります。二つ以上のバージョンが同時に稼働し、その間、
共有するデータベース、キャッシュ、キュー、クライアントが呼ぶAPIのす
べてが、両バージョンに対応する必要があります。Satoは、同時に動かす
バージョン数を最小限にするよう助言します。また、利用者自身のパソコン
やスマートフォンへインストールするソフトウェアには、あまり適しませ
ん。提供者が、更新の時期を決められないからです。その場合は、バックエ
ンドを両方に対応させ、使われているクライアントのバージョンを監視し、
旧版の割合が十分に下がってから廃止することを勧めています。

実際の活用例

Kubernetesでの最も単純なカナリアは、安定版のPodを選ぶServiceと、カナ
リアのPodを選ぶServiceの二つと、その間でトラフィックを重み付けして送
る経路です。Gateway
APIでは、重みをHTTPRouteに記述します。

```yaml
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: web
spec:
  parentRefs:
    - name: prod-web
  hostnames:
    - "www.example.com"
  rules:
    - backendRefs:
        - name: web-stable
          port: 8080
          weight: 95
        - name: web-canary
          port: 8080
          weight: 5
```

重みは、パーセントではなく比率です。各バックエンドに届く割合は、その
重みをルール内の全重みの合計で割った値であるため、95と5なら、二十件
に一件をカナリアへ送ります。重みの省略は1として扱い、0なら何も送りま
せん。Gateway
APIのトラフィック分割ガイドは、要求ヘッダーを照合するルールも示して
います。例では`traffic:
test`で、その要求だけを新版へ送り、顧客より先にテスト担当者がアクセ
スできます。カナリアを先へ進めるには二つの数値を編集し、引き戻すに
は、その重みを0にします。

Argo
Rolloutsは、段階的な進行を自動化します。`Deployment`を、同じPodテン
プレートを持つ`Rollout`で置き換え、テンプレートが変わるたびに、コン
トローラーがたどる手順を列挙します。

```yaml
apiVersion: argoproj.io/v1alpha1
kind: Rollout
metadata:
  name: web
spec:
  replicas: 10
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: web
          image: registry.example.com/web:1.4.2
  strategy:
    canary:
      maxSurge: "25%"
      maxUnavailable: 0
      steps:
        - setWeight: 10
        - pause:
            duration: 1h
        - setWeight: 20
        - pause: {}
```

トラフィックルーターがなければ、ArgoはPod数で重みを近似します。レプ
リカが十個で10パーセントなら、カナリアが一つ、安定版が九つです。最初
の一時停止は一時間待ち、二つ目は、誰かが判断するまで待ちます。リリー
スと、その二つの結末は、次のようになります。

```sh
kubectl argo rollouts set image web web=registry.example.com/web:1.5.0
i# 期限のない一時停止で、続行する場合は…		engineer.company	70
kubectl argo rollouts promote web
i# …または中止して、全トラフィックを安定版へ戻す		engineer.company	70
kubectl argo rollouts abort web
```

この一連の処理すべては、一時停止の間に、カナリアが旧版より悪く動いて
いないか分かることに依存します。それが、不具合がまだ小さいうちに通知
するアラートを中心とした、サイト信頼性・監視サービスが担う仕事です。
2025年からの職務で手がけた自社管理のエラー監視とトレースは、その信号
の例を示します。エラーを一件ずつ並べる代わりに、繰り返し発生する問題
ごとにまとめ、急増や悪化を検出し、通知にクールダウン期間を設け、一度
の悪いデプロイで四十回も緊急通知しないようにします。カナリアの各段階
に必要なのは、まさにそれです。翌朝、利用者が偶然見つける悪化ではな
く、一時停止の間に分かる悪化です。

問題が起きるところ

カナリアが小さすぎて、何も判断できません。
閑散時の十個のPodのうち一つでは、一時停止中に数百件しか処理しないこ
とがあり、千件に一件の不具合が現れないかもしれません。測るべきなのは
経過時間ではなく、カナリアが処理した要求数です。発生頻度の低いエラー
も複数回現れ得るよう、割合と一時停止時間を一緒に決め、夜間は正午より
長く、その段階を維持します。

ダッシュボードが、カナリアと安定版を区別できません。
カナリアが、安定版より五十件に一件多く失敗していても、割合が5パーセ
ントなら、全体の失敗は、約千件に一件増えるだけです。サービス全体の一
つのエラー率しか示さないダッシュボードでは、見えません。カナリアと安
定版のPodに異なるラベルを付け、指標にも引き継ぎ、固定のしきい値では
なく、安定版と比較します。Argo
Rolloutsでは、`canaryMetadata`と`stableMetadata`でラベルを追加できま
す。Rolloutのバックグラウンド`analysis`は、失敗すると更新を中止しま
す。

両バージョンが、同じデータへ書き込みます。
展開の間、新旧のコードは同じデータベースを読み書きし、無作為に振り分
けると、一人の利用者の要求も、一分以内に両方へ届くことがあります。旧
版が値を入れない新しい列や、読み取れない形式が、安全であるはずの安定
版のエラーになります。Satoの答えは、並行した変更です。展開の間ずっ
と、データベースが両方のアプリケーションに対応し、旧版がなくなってか
ら、古い形を削除します。

新版へのトラフィックは止まっても、変更は残ります。
`kubectl argo rollouts
abort`は、トラフィックを安定版のReplicaSetへ戻しますが、Rolloutの
specは、新しいイメージを指定したままです。再開すると、そのイメージが
再び対象になります。ロールバックが完了するのは、テンプレートを旧版へ
戻したときだけです。specをリポジトリで保持しているなら、そこを変更
し、何を動かすべきかについて、ソースとクラスタを一致させます。

カナリアを、A/Bテストにも使います。
経路の振り分け方が同じに見えるため、カナリアのトラフィックで、新機能
がコンバージョンへ与える効果も測りたくなります。Satoは、二つを分ける
よう助言します。カナリアは問題を探し、数分から数時間で終えるべきもの
です。一方、実験は仮説を検証し、統計的に有意な結果に達するまで、何日
分ものデータが必要かもしれません。業務指標でカナリアを判定すると、実
験で生み出そうとする効果も、判定を曖昧にします。カナリアでリリースし
てから、機能フラグなど、独自の分割の仕組みで実験を行います。

参考資料

  * Canary Release：Martin Fowlerのblikiに掲載された、Danilo
Satoによる2014年の説明です。利用者の選び方、処理能力のテスト、A/Bテ
スト、データベースを扱います。

  * Argo
Rollouts：Canary：手順と一時停止、Pod数で近似する重み、トラフィック
ルーターと組み合わせたスケーリングを説明します。

  * HTTPトラフィックの分割：重み付きバックエンドと、ヘッダーに一致す
るカナリア経路についてのGateway APIのガイドです。

  * kubectl argo rollouts abort：中止操作がトラフィックに与える影響
と、specに残るものを説明します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/canary-release/	engineer.company	70
