Kubernetes

どのようなものか

Kubernetesは、K8sとも書くオープンソースのソフトウェアです。クラス
ターと呼ぶ複数のマシンで、コンテナー化したアプリケーションを動かし、
与えた定義に従わせます。各アプリのイメージ、コピー数、各コピーが使え
るメモリーとCPU、ほかのプログラムからの接続方法を定めます。プロジェ
クトの文書は、「コンテナー化されたワークロードとサービスを管理する、
移植性と拡張性を持つオープンソースのプラットフォーム」と呼びます。名
前はギリシャ語の操舵手や水先案内人を意味します。K8sは、Kとsを残し、
その間の八文字を数に置き換えます。Googleが2014年にオープンソースとし
て公開しました。

クラスターには、二つの部分があります。コントロールプレーンが定義を保
持します。APIサーバーは、すべての変更が通る唯一のHTTPインターフェー
スで、etcdが指示された内容を保存し、スケジューラーが新しい各Podを適
切なノードに割り当て、コントローラーマネージャーが、定義に基づく制御
ループを動かします。各ワーカーノードでは、kubeletが、割り当てられた
Podの稼働を保ち、kube-proxyが、Serviceを支えるネットワーク規則を保
ち、containerdやCRI-Oなどのコンテナーランタイムが、コンテナーを起動
します。Docker
Engineは、Kubernetes
1.24で組み込みランタイムから外れました。Dockerで作ったイメージは、標
準のOCIイメージなので、そのまま動きます。

定義は、通常YAMLで書く、オブジェクトの集合です。Podは、Kubernetesが
配置する最小単位で、一台のマシン上でネットワークアドレスとストレージ
を共有する、一つ以上のコンテナーです。Deploymentは、同一のPodをいく
つ置くかを示し、テンプレートが変わると、段階的に置き換えます。
Serviceは、変わり続けるPodの集合に、安定した一つの名前とアドレスを与
え、ラベルでメンバーを選びます。小さなウェブアプリケーションは、次の
ようになります。

```text
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 3
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: web
          image: registry.example.com/web:1.4.2
          resources:
            requests:
              cpu: 250m
              memory: 256Mi
            limits:
              memory: 256Mi
          readinessProbe:
            httpGet:
              path: /healthz
              port: 8080
```

通常は、より小さな三つの選択肢と比較します。Docker
Composeは、一台のマシン上のコンテナーを記述し、そのマシンがなくなれ
ば、コンテナーもなくなります。systemdなどのサービスマネージャーは、
異常終了したコンテナーを再起動し、起動時にも立ち上げます。はるかに少
ない仕組みで、多くの要求を満たしますが、別のマシンへ仕事を移す機能は
ありません。Google
Cloud RunやAzure Container
Appsなどのホステッド基盤は、運用すべきコントロールプレーンを利用者に
渡さず、設定項目を減らす代わりに、コンテナーを動かします。文書は、
Kubernetesが何ではないかも明示します。あらゆる機能を含む従来型の、
サービスとしてのプラットフォーム（Platform
as a Service）ではありません。アプリをビルドせず、独自のデータベース
やメッセージキューも付属しません。

なぜ重要なのか

中心にある考えは、一度だけ命令の一覧を実行するのでなく、記述した状態
へ近づくよう、クラスターが継続的に動作することです。上のファイルを適
用しても、何かを直接起動するのではなく、望む状態を記録します。コント
ローラーは、クラスターを監視し、現状を望む状態へ近づける制御ループで
す。マシンが故障して、三つのコピーが二つになると、コントローラーが不
足を見つけ、新しいPodを作り、スケジューラーが余裕のあるマシンに配置
します。定義はファイルの集合なので、リポジトリーに置き、その定義で動
かすコードと同じレビューを受けられます。

リリースの仕組みも、基盤に付属します。既定はローリング更新です。新し
いPodを起動し、それが準備できるにつれて古いPodを止めます。どの時点で
も、追加は25%、不足は25%という、既定の上限内で行います。Podテンプ
レートの各変更をリビジョンとして保ち、既定は十件です。`kubectl
rollout
undo`で一つ前へ戻せます。以前なら、サーバーの処理を退避し、バイナ
リーを交換して戻すスクリプトで行ったことが、組み込みの動作になりま
す。

スケジューラーは、サーバー群の経済性も変えます。各Podが要求するCPUと
メモリーを基準に置くため、多くの小さなサービスが、一つのマシン群を共
有します。それぞれに、最大負荷時に合わせた大きさのサーバーを与える必
要がありません。

代償も確かにあります。クラスター自体が分散システムであり、予定を立て
て更新するバージョン、ネットワーク層、ストレージ層、証明書、アクセス
制御を持ちます。問題が起きれば、すべてを誰かが理解しなければなりませ
ん。Google
Kubernetes Engine、Amazon EKS、Azure Kubernetes
Serviceなどのマネージド製品は、コントロールプレーンを運用しますが、
全マニフェストと、通常はワーカーノードも、利用者側の仕事です。一、二
台のマシンで少数のサービスを動かすなら、単純なサービスマネージャーの
方が、少ない構成要素で済むこともよくあります。

実際の活用例

会社の技術構成ページは、方針を明示しています。使う意義のあるワーク
ロードにはDockerやKubernetesを使い、そうでなければ、単純なsystemdユ
ニットを使います。Kubernetesは既定ではなく、仕事の規模と形に応じて、
ワークロードごとに選びます。

ある案件では、導入に見合うワークロードがありました。二十のDockerアプ
リケーションを、Google
CloudとAWSでデプロイし、保守しました。Rを使う分析アプリも含み、どの
アプリも特別扱いにならないよう、設定と監視を統一しました。トラブル
シューティングにはPodmanを、オーケストレーションの調査にはKubernetes
を使いました。同ページは、問題をより速く診断でき、デプロイが安定し、
再現可能だったと報告しています。

方針のもう半分を示すのが、会社自身の基盤です。PodmanとQuadletで構築
したコンテナー層は、各コンテナーを、OS自身のスーパーバイザーのサービ
スとして動かし、ホスト上のほかのものと同じ宣言的な形式で定義します。
コンテナーはホストネットワークを使い、コンテナー側のポート公開設定は
使わないため、強化ロールが導入するファイアウォール規則が、引き続き制
御を担います。KubernetesならAPIで新しいイメージを展開するところを、
root権限のないデプロイ用ユーザーが、イメージをビルドし、サービスを再
起動する、一つの固定スクリプトを実行します。一台のホストでは、各コン
テナーに定義を与え、ホストですでに信頼して使っているスーパーバイザー
を使えるため、第二のプロセスマネージャーは要りません。ないのは、複数
マシンへの配置と、故障ノードの置き換えです。その領域で、Kubernetesの
運用の負担に見合う効果が出るようになります。

問題が起きるところ

Kubernetesの問題の大半は、マニフェストが求めるものと、クラスターが報
告するものの差から生まれます。

デプロイジョブは成功と報告するのに、展開は途中で止まります。
誤ったイメージタグ、起動時の異常終了、失敗する準備確認（readiness）
プローブ、割当量の不足で、新しいPodが準備できなければ、Deploymentの
進行が止まります。進行期限、既定の600秒を過ぎると、理由を
`ProgressDeadlineExceeded`と記録します。文書は、Kubernetesはそれ以上
の処置をしないと述べています。残った古いPodが配信を続け、自動では
ロールバックしません。`kubectl
rollout status`は、期限後に非ゼロの終了コードを返すため、デプロイの
ステップで待ち、リリースを取り消せます。

```sh
kubectl apply -f web.yaml
kubectl rollout status deployment/web --timeout=10m \
  || kubectl rollout undo deployment/web
```

`OOMKilled`でコンテナーが再起動するか、CPUに余裕のあるノードで遅くな
ります。
上限はカーネルが強制し、二つの資源で動作が異なります。メモリー上限を
超えるコンテナーは、終了させられ、再起動することがあります。CPU上限
に達したものは、抑制されるため、停止せず遅くなり、アプリの問題に見え
ます。スケジューラーが基準にするのは、実際の使用量ではなく要求量で
す。要求を低くすると、ノードに詰め込みすぎ、高くすると、マシンが遊び
ます。要求量を指定せず上限だけ与えると、その値が要求量になります。メ
モリーは計測した使用量から設定し、CPU上限は、意識して判断します。

起動の遅いアプリが、起動完了前に終了させられます。
生存確認（liveness）プローブが失敗すると、kubeletはコンテナーを終了
させ、再起動します。そのため、読み込みに一分かかるアプリを十秒後に検
査すると、再起動を繰り返します。起動確認（startup）プローブは、アプ
リが立ち上がるまで、ほかの検査を待たせます。readinessプローブは、再
起動せず、PodをServiceから外すため、処理中や、キャッシュの準備をして
いるPodに向きます。データベースを呼ぶlivenessプローブは、データベー
スが遅いと全レプリカを同時に再起動し、依存先の遅さを障害に変えてしま
います。

手で起動したPodが消え、手で行った修正が戻ります。
コントローラーを介さず単独で作ったPodは、終了、削除、ノードからの退
去、ノード故障まで、そのノードに残り、コントローラーが再作成すること
はありません。文書は、一つのコピーでもDeploymentかJobを勧めていま
す。`kubectl
edit`の変更は、クラスター内だけに残り、次のリポジトリーからの適用が
古い値へ戻すため、緊急修正は、緊急事態が終わり次第、ファイルにも反映
します。

参考資料

  * Kubernetes概要 —
Kubernetesとは何か、何を提供し、何を含めないかについて、プロジェクト
自身が説明しています。

  * Pod — 配置の最小単位、ライフサイクル、手で作ることが少ない理由で
す。

  * Deployment — ローリング更新、ロールバック、リビジョン履歴、進行
期限です。

  * Service — 変わり続けるPod集合の前に置く、安定した名前とアドレス
です。

  * Podとコンテナーの資源管理 — 要求、上限、カーネルによる各資源の制
御です。

  * 生存確認・準備確認・起動確認プローブの設定 — 三つのプローブと、
起動の遅いコンテナーを保護する方法です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/kubernetes/	engineer.company	70
