キャッシュ

どのようなものか

キャッシュは、データを読む側の近くにコピーを保持する保存領域です。同
じデータを再び読むとき、読み取りに時間のかかる本来の保存先ではなく、
そのコピーから答えます。英語の複数形はcachesで、保存した一項目を
キャッシュエントリー、その中のデータをキャッシュ済みのコピーと呼びま
す。

キャッシュが正本になることはありません。コピー元のファイル、行、サー
バーの応答が引き続き正本であり、各エントリーは捨てて取得し直せます。
ここが、複製によって意図的に全体をそろえ、同期させるレプリカや、まだ
他のどこにも存在しないかもしれない転送中のデータを保持するバッファー
との違いです。Linuxのページキャッシュは、キャッシュとバッファーの両
方の役割を担います。読み取ったファイルのデータを保持するとともに、書
き込みを先に受け取り、ディスクに届くまで、そのページをdirty（ディス
クへの書き込みが済んでいない状態）として扱います。

利用者とデータの間には、キャッシュが何層もあります。プログラムが読む
すべてのファイルの下には、カーネルのページキャッシュがあります。その
上で、PostgreSQLは独自のページのプール、`shared_buffers`を保持しま
す。ブラウザーは、一人向けのプライベートキャッシュにHTTP応答を保存
し、CDNやリバースプロキシは、多数の人向けの共有キャッシュを保持しま
す。ページのスクリプトは、ブラウザーのHTTPキャッシュとは別に、サービ
スワーカーを通してCache
Storageへ応答を保存できます。また、アプリケーションは、計算した値を
Redisなどのキーバリューストアに保持できます。

どの層でも、用語は同じです。読み取りでエントリーを見つければヒット、
見つからなければミスで、オリジンへ取りに行きます。読み取りのうちヒッ
トした割合が、ヒット率です。各エントリーはキーで検索し、HTTPキャッ
シュでは、少なくとも要求メソッドとURLがキーに含まれます。保存領域が
いっぱいになると、空きを作るためにエントリーを取り除きます。これを追
い出しと呼び、何を取り除くかは、追い出しポリシーが決めます。一般的な
のは、最後に使われた時刻が最も古いものを選ぶLRU（least
recently used）です。

なぜ重要なのか

キャッシュは通常、システムを速くする最も安い方法で、新しいハードウェ
アや新しいスキーマより費用を抑えられます。その代償は、メモリー、手の
届きにくい場所にあるコピー、元の内容と一致しなくなったコピーという形
で現れます。保存領域についての三つの判断で、大半が決まります。

一つ目は、置く場所です。コピーが読む人に近いほど、節約できるものは増
えます。ブラウザー内のコピーなら、サーバーだけでなく、ネットワークも
使わずに済みます。一方、管理する側からは遠くなります。Redisのインス
タンスは一つのコマンドで空にできますが、訪問者のスマートフォンにある
コピーは、一緒に送ったルールに従って、その場所に残ります。

二つ目は、容量です。キャッシュに渡したメモリーは、他の用途から取り上
げたものだからです。PostgreSQLの文書によると、`shared_buffers`の既定
値は通常128
MBです。メモリーが1
GB以上ある専用サーバーでは、25%から始めることを勧めています。また、
PostgreSQLはOSのキャッシュにも依存するため、40%を超えて割り当てて
も、それより小さい割り当てよりよく動く可能性は低いとしています。二つ
のキャッシュが、一台のマシンを共有しています。

三つ目は、その保存領域を誰が共有するかです。RFC
9111は、一人の利用者向けのプライベートキャッシュと、保存した応答を複
数の利用者に再利用する共有キャッシュを区別します。個人向けの応答を共
有領域に置くと、一人のページが他の人へ届きます。そのため、
`Authorization`ヘッダーを持つ要求への応答は、応答側が明示的に許可し
ていない限り、共有キャッシュで再利用してはいけません。

三つの判断から、一つのルールが導かれます。キャッシュは、安全に空にで
きる必要があります。空にしてデータを失うなら、データベースの保証を持
たないデータベースになっています。いつまでエントリーを応答に使ってよ
いか、何が期限前に取り除くかは、実践としてのキャッシュ処理の領域で
す。保存領域自体の仕事は、コピーを保持し、キーで見つけ、容量が足りな
くなったら空きを作ることです。

実際の活用例

自前のフォージとウェブサーバーを動かす464
MBのホストでは、カーネルのページキャッシュが、警報で何を測るべきかを
決めます。信号の途絶で警報を出すデッドマンズスイッチが、実行時刻にラ
ンダムなずれを加えながら、十五分ごとに動きます。スクリプトは、利用可
能なメモリーとディスクの空き容量を測り、両方がしきい値を上回る間だ
け、外部サービスへ信号を送ります。正常なLinuxでは、カーネルが未使用
メモリーをキャッシュに使い、空きメモリーがゼロに近くなるため、測るべ
きなのは「利用可能」な量です。スクリプトは正しい列を読んでいました
が、周囲の六つの変数名は「free」となっていました。10パーセントのしき
い値に対して、その名前を信じた人が464
MB中の十二メガバイトの空きを見れば、検査が壊れていると考え、一文字を
変えてしまうかもしれません。そのように変えると、常にしきい値に違反す
る警報になり、一週間以内にミュートされることになります。変数名は、そ
の後修正されています。

一層上には、データベースの前段に置くアプリケーションキャッシュがあり
ます。シャーディングの前にデータベースを最適化するノートでは、売り切
れ時の処理の前段に置いています。商品の全在庫が確保されると、データ
ベースは、最も早く確保が失効する時刻を答えられます。確保から10分後で
す。ノートでは、その時刻を期限として、「fully
reserved」（全数確保済み）という状態をキャッシュします。それまでは、
データベースではなくキャッシュが訪問者を断ります。カードの拒否や買い
物かごの放棄で、確保が早く解放された場合は、エントリーを削除し、直ち
にその一個を再び販売可能にします。キャッシュは拒否できますが、売るの
は、条件付きの`UPDATE`を実行するデータベースだけです。古いエントリー
のために数秒間、販売機会を失うことはあっても、同じ一個を二度売ること
はありません。

最も外側の層は、訪問者自身の機器です。このサイトは、そこにスクリプト
が管理する保存領域を作りません。Cookieのページでは、IndexedDBもCache
Storageも使わず、サービスワーカーも登録しないと説明しています。ブラ
ウザーは、サイトが管理するオフライン用コピーとは別の通常のHTTPキャッ
シュに、応答を保持することがあります。

問題が起きるところ

再起動後、すべての読み取りが一度にオリジンへ届きます。
空のキャッシュでは、すべてがミスになるため、デプロイ、キャッシュの再
起動、フェイルオーバーによって、読み取りの全負荷がデータベースへ届き
ます。大半がヒットすることで持ちこたえていたシステムは、キャッシュが
再び埋まる前に停止しかねません。オリジンをミス時の処理負荷に耐える規
模にし、トラフィックを受ける前にキャッシュへデータを読み込み、段階的
にトラフィックを戻します。PostgreSQLの`pg_prewarm`は、バッファー
キャッシュに対してこれを行い、共有バッファーに何があったかを記録し
て、再起動後に読み戻すこともできます。

キャッシュが増え、マシンのメモリーを使い切ります。
64ビットのシステムでは、Redisは既定でメモリー上限を設けないため、
キャッシュ用のインスタンスは、保持するキーとデータが増えるにつれて、
OSが介入するまで大きくなります。上限とポリシーを一緒に設定します。
`noeviction`では、満杯のインスタンスは、新しいデータをキャッシュする
コマンドにエラーを返します。すべてを保持する保存先には合いますが、忘
れることを期待するキャッシュには意外な動作です。Redisの文書は、別の
ものを選ぶ理由がなければ、`allkeys-lru`を妥当な初期選択肢としていま
す。

```text
maxmemory 256mb
maxmemory-policy allkeys-lru
```

訪問者に、別の言語のページが届きます。
値が依存する入力を、キーから省いています。デンマーク語で描画したペー
ジをURLだけで保存すると、次の読者が何を求めても、デンマーク語が届き
ます。言語、通貨、ロールなど、出力を変えるすべての入力からキーを作り
ます。HTTPキャッシュでは、応答ヘッダーの`Vary`に、キーへ含める要求
ヘッダーを指定します。RFC
9111は、そのヘッダーが一致するか、再検証した場合にだけ、保存済みの応
答を再利用できるとしています。

インストールしたアプリが、古いコードで動き続けます。 Cache
Storageのエントリーには、独自の有効期限がなく、サービスワーカーのス
クリプトを更新しても残ります。同じキャッシュ名のままファイルを変更す
ると、古いコピーを配信し続けます。また、公開のたびにキャッシュを改名
しても、古いキャッシュを削除しなければ、その都度、機器に一つずつ増え
ます。Service
Workers仕様の勧めに従って、キャッシュ名にバージョンを入れ、新しい
ワーカーが引き継いだら、古いものをすべて削除します。

参考資料

  * RFC 9111：HTTP
Caching：プライベート・共有HTTPキャッシュ、キー、共有キャッシュが
扱ってはいけない応答に関するIETF標準です。

  *
Linuxカーネル：メモリー管理の概念：ページキャッシュがファイルのデー
タをメモリーに保持する仕組みと、そのページを回収可能として数える理由
を説明します。

  *
PostgreSQL：リソース消費：`shared_buffers`、通常の既定値、OSのキャッ
シュも考慮した容量の決め方を説明します。

  * Service Workers：Cache Storageと、ブラウザーのHTTPキャッシュとの
違いを定めるW3C仕様です。

  * Redis：キーの追い出し：`maxmemory`と、各追い出しポリシーでキャッ
シュが満杯になった際の動作を説明します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/cache/	engineer.company	70
