# データストレージ

## どのようなものか

データストレージは、通常はストレージと略され、データを次に使うまで保持するシステムの層です。再起動や停電を経ても内容を保つ媒体に保存します。NISTの用語集は、SP 800-88r2から引用し、この言葉に二つの意味を示しています。取り出せる状態でデータを保持することと、データを書き込んだり取り出したりできるハードウェアです。

どの種類も、回転するハードディスク、ソリッドステートドライブ、SDカード、テープといった物理媒体を土台にします。ソフトウェアから見えるのは、その上にある三つの層のいずれかです。
* ブロックストレージは、装置を、番号で指定する固定長ブロックの列として見せます。ディスクのパーティション、RAIDアレイ、クラウドの仮想ディスクは、カーネルにはすべてこのように見えます。ブロックの意味を決めるのは、ファイルシステムやデータベースエンジンです。
* ファイルストレージは、それらのブロックの上に、名前、ディレクトリ、サイズ、所有者、権限を持つファイルシステムを置きます。ファイルは数バイトずつ変更できます。NFSやSMBで共有すれば、一つのツリーを多数のマシンから使えます。
* オブジェクトストレージは、バイト列とメタデータからなるオブジェクトを、コンテナー内の名前の下に丸ごと保持します。マウントではなくHTTP API経由でアクセスします。Google Cloud Storageは、バケットと呼ばれるコンテナーにオブジェクトとしてデータを保存します。各バケットは一つのプロジェクトに属し、各オブジェクトは、任意の形式のファイルを、一度書くと変更できないデータとして保持します。

三つの方式の違いが表れるのは、変更にかかる負担です。ブロックデバイスは、一つのブロックをその場で書き換えます。ファイルシステムはファイルの一部を編集し、名前変更で移動します。オブジェクトストアは、オブジェクト全体を置き換えます。Googleのオブジェクトに関するページでは、オブジェクトへの追記と切り詰めはできないと説明しています。置き換えはアトミックなので、新しいアップロードが完了するまでは、読み手は古い版を取得します。ツールによっては、名前変更が、新しい名前へのコピーと元のオブジェクトの削除を意味します。一方、Cloud Storageは、同じバケット内でのアトミックなオブジェクト名変更にも対応しています。フラットな名前空間のバケットでは、フォルダーは、名前に含まれるスラッシュからツールが描く見かけにすぎません。`folder1/`という文字列は名前の一部であり、バケット内にフォルダー自体は保存されていません。

同じファイルを各層で見ると、次のようになります。

```sh
# block: the kernel's view of a disk as numbered blocks
lsblk /dev/sda

# file: a filesystem mounted over those blocks, with names and directories
df -h /srv

# object: a whole object sent to a bucket over an API
gcloud storage cp readings.csv.gz gs://example-bucket/2024/01/
```

## なぜ重要なのか

媒体は、データをどう失うかを左右します。ハードディスク、SSD、SDカードは、それぞれ異なる壊れ方をし、一つに合った復旧手段が、別の媒体には不適切なこともあります。ミラー化した二台やRAIDアレイなど、一つの筐体内の冗長化は、ディスク一台が壊れてもデータを読める状態に保ちますが、データを書き込むのと同じ忠実さで、あらゆる削除も全ディスクへ書き込みます。

耐久性と可用性は、異なる約束です。耐久性は保存データが残る確率であり、可用性はある時点で読める確率です。Cloud Storageは、すべてのストレージクラスに対し、年間耐久性99.999999999%を示しています。一方、典型的な月間可用性は、クラスと保存場所によって99.9%から99.99%超まで変わります。ストレージクラスは、可用性と料金モデルを定める、各オブジェクトのメタデータです。新しいオブジェクトは、バケットの既定のクラスを継承します。低頻度アクセス向けのクラスは、保存料金が安い代わりに、可用性がやや低く、30日、90日、365日の最低保存期間があり、データを読み戻す際にも料金がかかります。Googleが想定する読み取り頻度は、それぞれ月に一度以下、多くても四半期に一度、年に一度未満です。

保存場所も、データを考えるうえで不可欠です。同じディスク、同じマシン、同じクラウドアカウント内のコピーは、その対象と運命を共にします。別の場所のコピーは、そうではありません。場所は、速度と費用も決めます。Googleによると、データを使う計算リソースと同じリージョンに置くと、データ集約型の処理で性能を最大限に引き出し、ネットワーク料金を減らせる場合があります。

ソフトウェアがストレージへ到達する方法も、残りの設計を形作ります。バックアッププログラムのResticは、リポジトリを、サブディレクトリとファイルの集合を保持する、一つのディレクトリにすぎないと定義しています。このディレクトリ構成は、ローカルディスクにも、SFTPで接続するサーバーにも、Google Cloud StorageやAmazon S3などのオブジェクトストアにも置けます。バイト列は同じでも、遅延、故障の仕方、アカウントを管理する人は変わります。

## 実際の活用例

下位の層から順に見ると、創業者の以前の業務は、故障する物理媒体にも、ファイルを丸ごと移すオブジェクトストアにも及んでいました。当社自身のバックアップ実装には、ホストの喪失に備えて別の事業者へコピーする自動化が含まれています。そのストレージを有効にし、実際の復元を検証することは、別の工程です。

物理媒体では、ほぼすべての一般的な種類のストレージでデータ復旧を行いました。対象は、SDカードや回転するHDDから、SSD、RAIDアレイ、外付けドライブ、Macシステムまで及びます。人々が持ち込んだのは、故障や損傷があり、写真、業務ファイル、大切な何かの唯一のコピーを保持する媒体でした。壊れ方も、データを取り出す方法も、媒体ごとに異なります。SSDは回転式ディスクとは別の問題であり、RAIDアレイはさらに異なり、Macのファイルシステムには独自の癖があります。個別の技法と同じくらい、その媒体に合った手段を知っていることが重要でした。顧客は、もう失われたと諦めていた装置から、重要なデータを取り戻しました。

オブジェクトストアでは、Google BigQueryへデータを送る六つのETL/ELTパイプラインで、ソースとウェアハウスの間にGoogle Cloud Storageバケットを置きました。整備済みのデータセットとテーブルを中間形式へエクスポートし、gzipで圧縮してバケットへ転送し、そこからbq CLIとPythonスクリプトでBigQueryへロードしていました。圧縮済みファイルを丸ごと入れ、ファイルを丸ごと取り出すという、オブジェクトストレージが想定する使い方です。

別の場所へのコピーは、当社のバックアップと復元テストの実装に含まれています。Ansibleロールが、resticのスクリプトとsystemdユニットを導入します。設定されている場合のデータベースダンプ、SFTP経由で別の事業者のストレージへ送る暗号化・重複排除済みスナップショット、保持ポリシーに基づく削除、完全性検査を実装しています。別の月次ワークフローは、既知のファイルを一時作業先へ復元してバイト列を照合し、書き込み経路だけでなく、読み戻す経路を試験します。バックアップと復元の成功通知は別々で、タイマーには設定済みのリポジトリが必要です。2026-10-27付の実装記録は、リポジトリがない状態でタイマーが無効だったことを示し、実環境で完了した復元は記録していません。これは、自動化と、有効化する必要があるものを記録したものであり、当社がすでにホストを失ってもデータを復旧できることを証明するものではありません。

## 問題が起きるところ

ストレージの問題の多くは、必要になる日までは問題なく見えていたコピー、検査、費用から生じます。

コピーが元データと運命を共にする。 同じアカウント内のスナップショット、同じディスク上のバックアップ、同じ建物内の複製は、それぞれ小さな障害には耐えても、大きな障害では共に失われます。単独で両方を失わせる出来事を洗い出し、該当する出来事が少なくなる場所へコピーの一つを移します。

冗長化をバックアップに数えてしまう。 ミラーは、削除も破損も含め、すべての書き込みを全ディスクへ複製します。ディスクの故障に対応するのがミラーであり、誤操作に対応するのは、独自の履歴を持つ別のコピーです。

オブジェクトストアをファイルシステムとして扱う。 ファイルを前提に書いたコードは、低コストの名前変更やディレクトリ一覧を期待します。Cloud Storageがバケット内のアトミックな名前変更にも対応していても、一部のツールはオブジェクト名の変更を、コピーと削除で実装します。Googleは、フラットな名前空間の中に深く入れ子にした、ディレクトリのような構造には、本来のファイルシステムの一覧取得性能がないと説明しています。読み方に合わせてオブジェクト名を配置し、ファイルをその場で編集する作業は、ファイルストレージやブロックストレージ上に置きます。

検査がインデックスだけを読み、データを飛ばす。 resticの`check`コマンドは、既定ではリポジトリの構造を検証し、バックアップデータを保持するpackファイルは読みません。読むには、すべてのpackファイルをダウンロードする必要があるためです。`--read-data`なら全部を読み、`--read-data-subset=1/5`から`5/5`まで実行すれば、五回でリポジトリ全体を検査できます。ファイルを一覧表示するだけの検査は、名前が存在することは示せても、その背後のバイト列については、ほとんど何も証明しません。

低頻度用のクラスに高頻度のデータを置く。 月に一度の読み取りを想定したクラスから毎日読むファイルには、読み取りのたびに料金がかかります。クラスは、データの実際の読み取りパターンに合わせます。

## 参考資料
* NIST glossary: storage — NIST SP 800-88r2が定義する、この言葉の二つの意味を示しています。
* About Cloud Storage objects — オブジェクトのデータとメタデータ、命名規則、不変性、見かけのフォルダーの背後にあるフラットな名前空間を説明しています。
* Cloud Storage: Storage classes — クラスごとの耐久性、可用性、最低保存期間、取り出し料金を説明しています。
* restic: Preparing a new repository — リポジトリの定義と、配置先にできるローカル、SFTP、オブジェクトストアのバックエンドを説明しています。
* restic: Working with repositories — リポジトリの構造の検査と、保持するデータの読み戻しを説明しています。
* Cloud Storage: Move objects — 一つのバケット内でのアトミックな名前変更を説明しています。コピーと削除で移動を模倣するツールとは異なる操作です。

=> /ja/portfolio/recovered-data-from-sd-cards-hdds-ssds-and-raid/ ほぼすべての一般的な種類のストレージでデータ復旧を行いました
=> /ja/portfolio/designed-and-ran-6-etl-elt-pipelines/ Google BigQueryへデータを送る六つのETL/ELTパイプライン
=> /ja/portfolio/backups-that-have-actually-been-restored/ バックアップと復元テストの実装
=> https://csrc.nist.gov/glossary/term/storage NIST glossary: storage
=> https://cloud.google.com/storage/docs/objects About Cloud Storage objects
=> https://cloud.google.com/storage/docs/storage-classes Cloud Storage: Storage classes
=> https://restic.readthedocs.io/en/stable/030_preparing_a_new_repo.html restic: Preparing a new repository
=> https://restic.readthedocs.io/en/stable/045_working_with_repos.html restic: Working with repositories
=> https://docs.cloud.google.com/storage/docs/json_api/v1/objects/move Cloud Storage: Move objects

=> https://engineer.company/ja/glossary/storage/ このページのウェブ版
