データストレージ

どのようなものか

データストレージは、通常はストレージと略され、データを次に使うまで保
持するシステムの層です。再起動や停電を経ても内容を保つ媒体に保存しま
す。NISTの用語集は、SP
800-88r2から引用し、この言葉に二つの意味を示しています。取り出せる状
態でデータを保持することと、データを書き込んだり取り出したりできる
ハードウェアです。

どの種類も、回転するハードディスク、ソリッドステートドライブ、SDカー
ド、テープといった物理媒体を土台にします。ソフトウェアから見えるの
は、その上にある三つの層のいずれかです。

  *
ブロックストレージは、装置を、番号で指定する固定長ブロックの列として
見せます。ディスクのパーティション、RAIDアレイ、クラウドの仮想ディス
クは、カーネルにはすべてこのように見えます。ブロックの意味を決めるの
は、ファイルシステムやデータベースエンジンです。

  *
ファイルストレージは、それらのブロックの上に、名前、ディレクトリ、サ
イズ、所有者、権限を持つファイルシステムを置きます。ファイルは数バイ
トずつ変更できます。NFSやSMBで共有すれば、一つのツリーを多数のマシン
から使えます。

  *
オブジェクトストレージは、バイト列とメタデータからなるオブジェクト
を、コンテナー内の名前の下に丸ごと保持します。マウントではなくHTTP
API経由でアクセスします。Google Cloud
Storageは、バケットと呼ばれるコンテナーにオブジェクトとしてデータを
保存します。各バケットは一つのプロジェクトに属し、各オブジェクトは、
任意の形式のファイルを、一度書くと変更できないデータとして保持しま
す。

三つの方式の違いが表れるのは、変更にかかる負担です。ブロックデバイス
は、一つのブロックをその場で書き換えます。ファイルシステムはファイル
の一部を編集し、名前変更で移動します。オブジェクトストアは、オブジェ
クト全体を置き換えます。Googleのオブジェクトに関するページでは、オブ
ジェクトへの追記と切り詰めはできないと説明しています。置き換えはアト
ミックなので、新しいアップロードが完了するまでは、読み手は古い版を取
得します。ツールによっては、名前変更が、新しい名前へのコピーと元のオ
ブジェクトの削除を意味します。一方、Cloud
Storageは、同じバケット内でのアトミックなオブジェクト名変更にも対応
しています。フラットな名前空間のバケットでは、フォルダーは、名前に含
まれるスラッシュからツールが描く見かけにすぎません。`folder1/`という
文字列は名前の一部であり、バケット内にフォルダー自体は保存されていま
せん。

同じファイルを各層で見ると、次のようになります。

```sh
i# block: the kernel's view of a disk as numbered blocks		engineer.company	70
lsblk /dev/sda

i# file: a filesystem mounted over those blocks, with names and directories		engineer.company	70
df -h /srv

i# object: a whole object sent to a bucket over an API		engineer.company	70
gcloud storage cp readings.csv.gz gs://example-bucket/2024/01/
```

なぜ重要なのか

媒体は、データをどう失うかを左右します。ハードディスク、SSD、SDカー
ドは、それぞれ異なる壊れ方をし、一つに合った復旧手段が、別の媒体には
不適切なこともあります。ミラー化した二台やRAIDアレイなど、一つの筐体
内の冗長化は、ディスク一台が壊れてもデータを読める状態に保ちますが、
データを書き込むのと同じ忠実さで、あらゆる削除も全ディスクへ書き込み
ます。

耐久性と可用性は、異なる約束です。耐久性は保存データが残る確率であ
り、可用性はある時点で読める確率です。Cloud
Storageは、すべてのストレージクラスに対し、年間耐久性99.999999999%を
示しています。一方、典型的な月間可用性は、クラスと保存場所によって
99.9%から99.99%超まで変わります。ストレージクラスは、可用性と料金モ
デルを定める、各オブジェクトのメタデータです。新しいオブジェクトは、
バケットの既定のクラスを継承します。低頻度アクセス向けのクラスは、保
存料金が安い代わりに、可用性がやや低く、30日、90日、365日の最低保存
期間があり、データを読み戻す際にも料金がかかります。Googleが想定する
読み取り頻度は、それぞれ月に一度以下、多くても四半期に一度、年に一度
未満です。

保存場所も、データを考えるうえで不可欠です。同じディスク、同じマシ
ン、同じクラウドアカウント内のコピーは、その対象と運命を共にします。
別の場所のコピーは、そうではありません。場所は、速度と費用も決めま
す。Googleによると、データを使う計算リソースと同じリージョンに置く
と、データ集約型の処理で性能を最大限に引き出し、ネットワーク料金を減
らせる場合があります。

ソフトウェアがストレージへ到達する方法も、残りの設計を形作ります。
バックアッププログラムのResticは、リポジトリを、サブディレクトリと
ファイルの集合を保持する、一つのディレクトリにすぎないと定義していま
す。このディレクトリ構成は、ローカルディスクにも、SFTPで接続するサー
バーにも、Google
Cloud StorageやAmazon
S3などのオブジェクトストアにも置けます。バイト列は同じでも、遅延、故
障の仕方、アカウントを管理する人は変わります。

実際の活用例

下位の層から順に見ると、創業者の以前の業務は、故障する物理媒体にも、
ファイルを丸ごと移すオブジェクトストアにも及んでいました。当社自身の
バックアップ実装には、ホストの喪失に備えて別の事業者へコピーする自動
化が含まれています。そのストレージを有効にし、実際の復元を検証するこ
とは、別の工程です。

物理媒体では、ほぼすべての一般的な種類のストレージでデータ復旧を行い
ました。対象は、SDカードや回転するHDDから、SSD、RAIDアレイ、外付けド
ライブ、Macシステムまで及びます。人々が持ち込んだのは、故障や損傷が
あり、写真、業務ファイル、大切な何かの唯一のコピーを保持する媒体でし
た。壊れ方も、データを取り出す方法も、媒体ごとに異なります。SSDは回
転式ディスクとは別の問題であり、RAIDアレイはさらに異なり、Macのファ
イルシステムには独自の癖があります。個別の技法と同じくらい、その媒体
に合った手段を知っていることが重要でした。顧客は、もう失われたと諦め
ていた装置から、重要なデータを取り戻しました。

オブジェクトストアでは、Google
BigQueryへデータを送る六つのETL/ELTパイプラインで、ソースとウェアハ
ウスの間にGoogle Cloud
Storageバケットを置きました。整備済みのデータセットとテーブルを中間
形式へエクスポートし、gzipで圧縮してバケットへ転送し、そこからbq
CLIとPythonスクリプトでBigQueryへロードしていました。圧縮済みファイ
ルを丸ごと入れ、ファイルを丸ごと取り出すという、オブジェクトストレー
ジが想定する使い方です。

別の場所へのコピーは、当社のバックアップと復元テストの実装に含まれて
います。Ansibleロールが、resticのスクリプトとsystemdユニットを導入し
ます。設定されている場合のデータベースダンプ、SFTP経由で別の事業者の
ストレージへ送る暗号化・重複排除済みスナップショット、保持ポリシーに
基づく削除、完全性検査を実装しています。別の月次ワークフローは、既知
のファイルを一時作業先へ復元してバイト列を照合し、書き込み経路だけで
なく、読み戻す経路を試験します。バックアップと復元の成功通知は別々
で、タイマーには設定済みのリポジトリが必要です。2026-10-27付の実装記
録は、リポジトリがない状態でタイマーが無効だったことを示し、実環境で
完了した復元は記録していません。これは、自動化と、有効化する必要があ
るものを記録したものであり、当社がすでにホストを失ってもデータを復旧
できることを証明するものではありません。

問題が起きるところ

ストレージの問題の多くは、必要になる日までは問題なく見えていたコ
ピー、検査、費用から生じます。

コピーが元データと運命を共にする。
同じアカウント内のスナップショット、同じディスク上のバックアップ、同
じ建物内の複製は、それぞれ小さな障害には耐えても、大きな障害では共に
失われます。単独で両方を失わせる出来事を洗い出し、該当する出来事が少
なくなる場所へコピーの一つを移します。

冗長化をバックアップに数えてしまう。
ミラーは、削除も破損も含め、すべての書き込みを全ディスクへ複製しま
す。ディスクの故障に対応するのがミラーであり、誤操作に対応するのは、
独自の履歴を持つ別のコピーです。

オブジェクトストアをファイルシステムとして扱う。
ファイルを前提に書いたコードは、低コストの名前変更やディレクトリ一覧
を期待します。Cloud
Storageがバケット内のアトミックな名前変更にも対応していても、一部の
ツールはオブジェクト名の変更を、コピーと削除で実装します。Googleは、
フラットな名前空間の中に深く入れ子にした、ディレクトリのような構造に
は、本来のファイルシステムの一覧取得性能がないと説明しています。読み
方に合わせてオブジェクト名を配置し、ファイルをその場で編集する作業
は、ファイルストレージやブロックストレージ上に置きます。

検査がインデックスだけを読み、データを飛ばす。
resticの`check`コマンドは、既定ではリポジトリの構造を検証し、バック
アップデータを保持するpackファイルは読みません。読むには、すべての
packファイルをダウンロードする必要があるためです。`--read-data`なら
全部を読み、`--read-data-subset=1/5`から`5/5`まで実行すれば、五回で
リポジトリ全体を検査できます。ファイルを一覧表示するだけの検査は、名
前が存在することは示せても、その背後のバイト列については、ほとんど何
も証明しません。

低頻度用のクラスに高頻度のデータを置く。
月に一度の読み取りを想定したクラスから毎日読むファイルには、読み取り
のたびに料金がかかります。クラスは、データの実際の読み取りパターンに
合わせます。

参考資料

  * NIST glossary: storage — NIST SP
800-88r2が定義する、この言葉の二つの意味を示しています。

  * About Cloud Storage objects —
オブジェクトのデータとメタデータ、命名規則、不変性、見かけのフォル
ダーの背後にあるフラットな名前空間を説明しています。

  * Cloud Storage: Storage classes —
クラスごとの耐久性、可用性、最低保存期間、取り出し料金を説明していま
す。

  * restic: Preparing a new repository —
リポジトリの定義と、配置先にできるローカル、SFTP、オブジェクトストア
のバックエンドを説明しています。

  * restic: Working with repositories —
リポジトリの構造の検査と、保持するデータの読み戻しを説明しています。

  * Cloud Storage: Move objects —
一つのバケット内でのアトミックな名前変更を説明しています。コピーと削
除で移動を模倣するツールとは異なる操作です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/storage/	engineer.company	70
