コンテナーランタイム

どのようなものか

コンテナーランタイムは、ディスク上のコンテナーイメージと、カーネル上
で隔離されて動くプロセスの間にあるソフトウェアです。この言葉は二つの
層を指し、人によってどちらを意味するかが異なります。OCIランタイムと
も呼ぶ低レベルのランタイムと、コンテナーエンジンと呼ぶことの多い高レ
ベルのランタイムです。

低レベルのランタイムは、限られた一つの役割を果たします。バンドルを読
み、設定に記述された名前空間、cgroups、マウントをカーネルに要求し
て、その中でプロセスを起動します。Open
Container
Initiativeのランタイム仕様は、バンドルを、`config.json`ファイルとコ
ンテナーのルートファイルシステムを含むディレクトリーと定義していま
す。仕様は、すべてのランタイムが対応すべき操作としてstate、create、
start、kill、deleteを定めていますが、コマンドラインの形式は各実装に
任せています。バージョン1.0は2017年7月に公開されました。OCI自身が保
守するruncは、自らを「エンドユーザーを想定して設計されたものではな
い、低レベルのツール」と説明しています。crunはCで実装され、より少な
いメモリーで同じ仕事をします。Podmanのドキュメントでは既定のランタイ
ムとされています。三つ目のyoukiは、Rustで書かれています。

その上にエンジンがあります。containerdは、自分自身を、ホスト上のコン
テナーのライフサイクル全体を管理するデーモンと説明しています。イメー
ジの転送と保管、コンテナーの実行と監督、それらに伴うストレージとネッ
トワークの接続を扱います。CRI-Oも似た仕事をしますが、Kubernetes専用
です。エンジンはイメージを取得して展開し、バンドルを書き出して低レベ
ルのランタイムに渡し、そのランタイムが終了した後もプロセスの監視を続
けます。Docker
Engineは、さらに一段上にあります。そのドキュメントによると、コンテ
ナーのライフサイクルにはcontainerdを使い、containerdは既定でruncを使
います。Podmanは別の方法を取り、常駐デーモンを持ちません。各コマンド
が自らバンドルを用意してcrunかruncを呼び、稼働中のコンテナーの監視は
conmonという小さなプログラムに任せます。

Kubernetesでは、さらに一つの用語が加わります。各ノードのkubeletは、
Container Runtime
Interface、略してCRIを介してエンジンと通信します。これは、containerd
とCRI-Oの両方が実装するgRPCプロトコルです。Docker
EngineはCRIより前から存在するため、Kubernetesは長年、dockershimとい
うアダプターを組み込んでいましたが、v1.24で削除しました。

なぜ重要なのか

コンテナーランタイムを選ぶことは、実際にはどの層を変えるかを選ぶこと
です。二つの層では、得られるものが異なります。

エンジンは、コンテナーの日常的な運用の仕組みを決めます。誰がイメージ
を取得して保管し、異常終了したコンテナーを再起動するか、ログをどこへ
送るか、ほかのツールがどのAPIを使い、誰がプロセスツリーを管理するか
です。サーバー上でDocker
EngineをPodmanに替えたり、Kubernetesノード上でcontainerdに替えたりす
ると、これらはすべて変わります。一方、コンテナー自体はそのままです。
基盤となるイメージ形式とバンドルが、共通のOCI標準に従うためです。
dockershimの削除に関するKubernetesのドキュメントも、明確に述べていま
す。`docker
build`で生成したイメージは、すべてのCRI実装で動きます。

低レベルのランタイムは、プロセスをどの程度隔離するかを決めます。runc
とcrunは、ホストのカーネル上で通常のプロセスを起動します。高速で、完
全な互換性もありますが、同じマシンのすべてのコンテナーが、一つのカー
ネルを共有することになります。gVisorのランタイムrunscは、Goで書かれ
たアプリケーションカーネルをコンテナーとホストの間に置き、コンテナー
のシステムコールに自ら応答します。そのドキュメントは、代償として、ア
プリケーションの互換性が低下し、システムコールごとの負担が増えるとし
ています。Kata
Containersは、専用のカーネルを持つ軽量な仮想マシン内で各処理を起動
し、ハードウェア仮想化を第二の防御層にします。実行する各ノードには、
ハイパーバイザーが必要です。

Kubernetesでは、二つ目の選択をクラスター単位ではなくPod単位で行えま
す。RuntimeClassは、エンジンに設定されたハンドラーを指定します。
`runtimeClassName`を設定したPodはそのハンドラーで動くため、信頼でき
ない処理だけをgVisorやKataに置き、残りはruncのままにできます。ドキュ
メントは、これを性能とセキュリティの釣り合いの問題として説明していま
す。

実際の活用例

日常の会話では、この言葉はエンジンの層を指すようになりがちです。この
サイトで紹介する仕事も、その意味で使っています。

Dockerでパッケージ化し、二つのクラウドと少数のコンテナーランタイムに
分散していた二十のアプリケーションは、一貫した方法でデプロイでき、問
題が起きたらすぐに原因を調べられる必要がありました。パッケージ化には
Dockerを使い、問題の調査・対処にはPodmanを、オーケストレーションのデ
バッグにはKubernetesを使いました。このようにエンジンをまたいで作業で
きるのは、先に説明した層分けによります。エンジンは異なっていても、そ
の下のOCIのイメージ標準とランタイム標準は共通しています。

新しいホストでは、エンジンの層で選択しました。コンテナー基盤はDocker
の代わりにPodmanとQuadletで動きます。既定のエンジンが、強化用ロール
の設けるファイアウォールルールより優先される形でコンテナーのポートを
公開することと、systemdの隣にもう一つの監督役を追加することが理由で
す。この選択で変わったのは、誰が各コンテナーを起動し、その後の監視を
担うかでした。コンテナーをサービスとして扱い、ホストが既に信頼する監
督役の下で、通常のサービスと同じように起動するようにしました。

同じ考え方は、当社の公開サービスを載せる512
MBのホストにも当てはまります。そこでは、メモリーがすべての判断を決め
ました。使用可能なメモリーが約464
MBのマシンで選んだのは、独自の監督機構を持つデーモンではなく、
systemdの下で動くQuadletユニットによるコンテナー基盤です。

問題が起きるところ

ランタイムの問題は、層と層の境目で表面化しがちです。互いに、相手は自
分の期待どおりに設定されているはずだと考えるためです。

クラスターを更新すると、ノード上のツールからコンテナーが見えなくなり
ます。 Kubernetes
v1.24以降、kubeletはcontainerdかCRI-Oと直接通信するため、クラスター
が配置するコンテナーはDocker
Engineを通りません。ノード上の`docker ps`が表示するのは、Docker自身
が起動したものだけです。Docker
CLIを呼ぶか`docker.sock`をマウントする監視エージェント、起動スクリプ
ト、特権Podは、それまでのように状況を把握できなくなります。処理は動
き続けます。`crictl`やエンジン自身のAPIに移す必要があるのは、その周
囲のツールです。

kubeletとランタイムが、別々の方法でcgroupsを管理します。
両者は、`cgroupfs`か`systemd`という同じcgroupドライバーを使う必要が
あり、kubeletの既定は`cgroupfs`です。initシステムにsystemdを使うホス
トでは、同じリソースについて異なる見方を持つ二つのcgroup管理機構が存
在することになります。Kubernetesのドキュメントは、このようなノードは
リソースが逼迫すると不安定になる場合があると注意しています。対策は、
両方をsystemdドライバーにすることです。cgroup
v2でも、このドライバーが推奨されます。containerd 2.xとruncでは、ラン
タイム側の設定は次のようになります。

```toml
i# /etc/containerd/config.toml, containerd 2.x		engineer.company	70
[plugins.'io.containerd.cri.v1.runtime'.containerd.runtimes.runc.options]
  SystemdCgroup = true
```

kubelet側は、その設定に`cgroupDriver:
systemd`を指定します。その後、containerdの再起動も必要です。
containerd
1.xではセクションの書き方が異なり、Kubernetesのページには両方の形式
が載っています。既にクラスターへ参加したノードでドライバーを変えるの
は、慎重さを要します。一方のドライバーで作成したPodを、もう一方で再
作成すると、エラーになる場合があるためです。したがって、ドキュメント
では、新しい設定でノードを置き換えるか再インストールするよう勧めてい
ます。

サンドボックス化したランタイムに移したPodが、起動時に止まります。
RuntimeClassが指定するハンドラーをノードのエンジンが持たない場合、
Podは直ちにFailedフェーズへ入り、理由はイベントに記録されます。その
条件を満たしても、処理自体がサンドボックスに適していなければなりませ
ん。gVisorは自分のカーネルでシステムコールに応答するため、あまり一般
的でないカーネル機能に依存するソフトウェアは、動作が変わることがあり
ます。ドキュメントも、システムコールの多い処理は適さないとしていま
す。Kataにはノード上のハードウェア仮想化が必要で、クラウドの仮想マシ
ンでは、これは入れ子の仮想化を意味します。RuntimeClassの`scheduling`
にノードセレクターを指定すれば、実行可能なノードだけに、そのような
Podを配置できます。

手動で取り込んだイメージがkubeletから見えません。
containerdは、イメージ名とメタデータを名前空間ごとに保持します。
`ctr`クライアントは、指定がなければ`default`名前空間で動きますが、
kubeletが通信するCRIプラグインは`k8s.io`を使います。そのため、単に
`ctr
images
import`で取り込むと、kubeletが見ない場所に入り、Podはレジストリーか
ら取得し直すか、イメージ取得エラーで停止します。`ctr
i-n k8s.io images import`で取り込み、kubeletと同じものが見える`crictl		engineer.company	70
images`で確認すれば、この食い違いを避けられます。

参考資料

  * OCIランタイム仕様 —
すべての低レベルランタイムが実装する標準です。バンドル、
`config.json`、ライフサイクルの操作を定めます。

  * runc — OCI自身のランタイムです。上位のツールがどう操作するかの説
明もあります。

  * コンテナーランタイム —
cgroupドライバー、CRIのバージョン、Kubernetesが求めるcontainerdと
CRI-Oの設定を説明します。

  * Container Runtime Interface（CRI） —
kubeletとエンジンの間のgRPCプロトコルを説明します。

  * Runtime Class — Podごとに異なるランタイムハンドラーを選び、対応
するノードだけに配置する方法を説明します。

  * 代替コンテナーランタイム — Docker EngineがコンテナーをgVisor、
Kata
Containers、youki、Wasmtimeに渡す方法を説明します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/container-runtime/	engineer.company	70
