データレイク

どのようなものか

データレイクは、データの発生元が提供する最も細かな粒度で、届いたまま
の元データを保管する場所です。これまでに出ていない問いにも、後からそ
のデータを使って答えられるようにします。実際には、分散ファイルシステ
ムやオブジェクトストレージ上のファイルにデータを置き、クエリーエンジ
ンがそのファイルを直接読みます。ファイル形式には、Apache
Parquetなどの列指向形式がよく使われます。

この用語を生んだのは、PentahoのJames
Dixonです。Pentahoが初のHadoop対応版を発表した週に書いた2010年10月14
日のブログ記事で、Hadoopを使う企業から聞いた話をまとめました。十社の
うち八社か九社が扱っていたのは非構造化データではなく、構造化または半
構造化データで、通常は一つのアプリケーションやシステムから来るもので
した。あらかじめ分かっている問いも少しありましたが、後からさらに多く
の問いが生まれ、複数の利用者グループがそれぞれ答えを求めていました。
また、データ量が大きく、リレーショナルデータベースには技術的に収めら
れないか、収めようとすると費用が見合いませんでした。従来の対処法は、
特に関心のある属性を選び、集計してデータマートに入れることでした。こ
れで答えられるのは事前に選んだ問いだけであり、集計によって最も細かな
情報は二度と取り出せなくなります。

Dixonは代わりに、水にたとえました。データマートはボトル入りの水で
す。浄化して容器に詰め、利用しやすい形に整えています。一方、データレ
イクは、彼の言葉では「より自然な状態にある大きな水域」です。一つの水
源から水が流れ込み、問いを持つ人は誰でも、見に来たり、水に入ったり、
試料をくんだりできます。

四年後、Dixonはこの用語を再び取り上げました。さまざまな定義で使われ
ていたためです。彼は、自分の定義を改めて示しました。レイクに入るのは
一つの発生元のデータであり、事前に集計しません。一つの組織に複数のレ
イクがあっても構いません。複数のシステムのデータを結合したものは、彼
のたとえではレイクではなく、水を配した庭園でした。また、2010年の時点
で、レイクはデータベース、データマート、データウェアハウスに取って代
わるものではなかったとも明言しています。彼が応答した定義のいくつか
は、多数のシステムの元データを一か所に集める共有ストレージを指してい
ました。こちらは、より広い意味での使い方です。同僚がどちらを意味して
いるのか、確認しておく必要があります。

なぜ重要なのか

どの集計にも、どの問いを重視するかという判断が含まれます。店舗ごとの
一日の売上合計からは、各店舗がどれだけ売ったかが分かります。しかし、
最も忙しかった時間帯、閲覧されたのに購入されなかった商品、ある顧客が
注文前に三度戻ってきたかどうかは分かりません。合計だけを残すと、こう
した問いには二度と答えられなくなります。答えを出せるはずの行を、合計
を計算する際に捨ててしまったからです。Dixonの主張は、問いはデータよ
り後に生まれるので、元の記録を最も細かな粒度で残し、問いが分かってか
ら集計すべきだというものでした。

だからといって、データウェアハウスが不要になるわけではありません。
Dixonは、組織のデータマートやデータウェアハウスにはレイクから取り出
した集計を入れ、その都度生じる問いにはレイクを直接使うと説明しまし
た。組織内で合意した数値を置く場所は、引き続きデータウェアハウスで
す。新しい問いに答えるために、ウェアハウスには残していなかった詳細が
必要になったときは、レイクを使います。ウェアハウスのテーブルの定義が
変わり、そのテーブルを作り直すときにも使います。

ファイル形式も、考え方と同じくらい重要です。Parquetは、行グループの
各列を個別のチャンクとして格納し、ファイル末尾のメタデータに各チャン
クの開始位置を記録します。読み取り側は最初にそのメタデータを確認し、
必要な列チャンクだけを取得します。そのため、四十列のうち三列を使うク
エリーでは、残りの三十七列を読みません。Parquetは公開された形式で、
各ファイルが自分自身のメタデータを持っています。したがって、Parquet
を読めるエンジンなら、ノートパソコン上のDuckDBも含め、別途エクスポー
トせずに同じフォルダーへクエリーを実行できます。

実際の活用例

オンラインショップが、商品の閲覧、カートへの追加、購入を一件ずつ記録
するとします。一日の合計にまとめる代わりに、すべてのイベントを残し、
一日ごとに一つのフォルダーを作ってParquetファイルに書き出します。
DuckDB
2.0では、記録の作成もファイルへの書き出しも、通常のSQLで行えます。

```sql
CREATE TABLE shop_events AS
SELECT * FROM (VALUES
  (TIMESTAMP '2026-10-26 09:14:03', 'view',     'boots-41', NULL::INTEGER),
  (TIMESTAMP '2026-10-26 09:15:40', 'cart',     'boots-41', NULL),
  (TIMESTAMP '2026-10-26 09:17:12', 'purchase', 'boots-41', 1200),
  (TIMESTAMP '2026-10-27 11:02:55', 'view',     'jacket-m', NULL),
  (TIMESTAMP '2026-10-27 11:03:30', 'view',     'boots-41', NULL),
  (TIMESTAMP '2026-10-27 11:05:01', 'cart',     'jacket-m', NULL)
) t(occurred_at, event, product, amount);

COPY (SELECT *, CAST(occurred_at AS DATE) AS day FROM shop_events)
TO 'events' (FORMAT parquet, PARTITION_BY (day));
```

`PARTITION_BY`に指定できるのは列名だけで、式は指定できません。そのた
め、日付は`SELECT`で計算しています。DuckDBは値ごとに一つのフォルダー
を書き出します。名前はkey=value形式で、この方式をドキュメントでは
Hiveパーティショニングと呼んでいます。

```text
events/day=2026-10-26/data_0.parquet
events/day=2026-10-27/data_0.parquet
```

一日分について調べるときは、その列で絞り込みます。

```sql
SELECT event, count(*) AS n
FROM   read_parquet('events/*/*.parquet', hive_partitioning = true)
WHERE  day = DATE '2026-10-27'
GROUP  BY event
ORDER  BY n DESC;
i-- view 2, cart 1		engineer.company	70
```

DuckDBは、パーティション列のフィルターをフォルダー名の段階まで押し下
げ、一致する可能性のないファイルを読み飛ばします。このクエリーに
`EXPLAIN
ANALYZE`を使うと、二つのファイルのうち一つを走査したと報告されます。
一年分の日別フォルダーがあれば、同じ問いで開くのは365個のうち一つで
す。DuckDBは既定でフォルダー名に含まれる日付、タイムスタンプ、大きな
整数を検出するため、特に指定しなくても`day`列は`DATE`として返りま
す。フォルダー名がkey=value形式ならHiveパーティショニングも自動的に
有効になります。したがって、これらのクエリーのフラグは、意図を明示し
ているだけです。

次は、事前には想定していなかった問いです。最も多く閲覧された商品はど
れでしょうか。

```sql
SELECT product, count(*) AS views
FROM   read_parquet('events/*/*.parquet', hive_partitioning = true)
WHERE  event = 'view'
GROUP  BY product
ORDER  BY views DESC, product;
i-- boots-41 2, jacket-m 1		engineer.company	70
```

購入の日別合計をまとめたテーブルでは、この問いには決して答えられませ
ん。元のイベントなら、同じフォルダーにもう一つクエリーを実行するだけ
で答えられます。取り込むときに、すべてのイベントを残してあるからで
す。

当社のデータウェアハウス設計サービスが目指すのは、すべての数値が一致
する一つの場所です。二つの部署が同じ会議に異なる答えを持ち込まないよ
うにします。この例のようなレイクは、そうしたウェアハウスの上流に位置
します。ウェアハウスには合意した数値を置き、次の問いに備えて元のイベ
ントを手元に残します。

問題が起きるところ

誰も説明できないファイル。
Parquetファイルが並ぶフォルダーに、どこから来たのか、誰が管理するの
か、各列が何を意味するのかという記録がなければ、使えるのは作った本人
だけです。2014年に、レイクにはメタデータがないという批判が出た際、
Dixonは、レイクという考え方のどこにもそうした制約はないと答えまし
た。後には、異なる発生元のデータを結合したり、その来歴をたどったりす
るなら、メタデータが必要になるとも付け加えています。データセットごと
に、発生元、管理者、列、読み込み時刻、保持期間をカタログに一件ずつ記
録し、その記入を読み込みジョブに組み込んでください。

何千もの小さなファイル。
Parquetファイルはそれぞれ固有のメタデータブロックを持ち、読み取り側
はデータを読む前にそれを読む必要があります。一分ごとに小さなファイル
を一つ書くストリームでは、30日間で40,000個を超えます。全件走査のたび
に、その一つ一つを開いて解析することになります。書き込みをまとめて、
数を減らし、より大きなファイルにしてください。また、古いパーティショ
ンは定期的に統合します。Apache
Icebergのテーブル形式では、こうした統合を`replace`スナップショットと
して記録します。複数のファイルを、同じ行を保持する一つのファイルに置
き換える操作です。

読み込みの途中が見えてしまう。
十個のファイルを書くジョブが六個を書いたところで止まると、フォルダー
には六個だけが残り、そのフォルダーを一覧取得する処理はそれらを読みま
す。単なるディレクトリーにはコミットがありません。これを解決するのが
テーブル形式です。Icebergは、ディレクトリー全体ではなく、個々のデー
タファイルをメタデータで追跡し、あるメタデータファイルを次のものへア
トミックに切り替えて変更をコミットします。読み取り側は常にコミット済
みのスナップショットを使います。書き込みが部分的に見えることはなく、
読み取り側がロックを取ることもありません。

列名を変えたために履歴が分断される。
古いファイルには古い列名が残り、すべてのクエリーが新旧両方の名前を
知っている必要が生じます。Icebergは、名前ではなくフィールドIDでデー
タファイル内の列を選びます。そのため、すでに書いたファイルを書き直さ
ずに、ネストした構造内の列も含めて、名前の変更、追加、削除、移動がで
きます。

すべてのシステムを一つのレイクに入れる。
組織内のすべてのデータベースを一か所に注ぎ込み、全体を横断して結合す
るものは、Dixonが水を配した庭園と呼んだものです。彼は、企業内で複数
の種類のストレージを使い、それぞれが扱うデータとクエリーに合わせて選
ぶことを勧めました。助言は、用途に最適な道具を使うことでした。トラン
ザクション処理にはトランザクション向けデータベースを、分析には分析向
けデータベースを使います。答えるべき問いが実際にある一つの発生元から
レイクを始め、そこからウェアハウスにデータを送り、統合され、合意され
た数値を作ってください。

個人データを永久に残す。
すべてを残すためのストレージは、削除要求や保持期限と衝突します。
Icebergバージョン2では、データファイルを書き直さずに削除ファイルを書
いて、個々の行を削除できます。つまり、元のバイト列はストレージに残り
ます。データファイルを書き直し、元のファイルをまだ参照している古いス
ナップショットが期限切れになってから、ファイルを物理的に削除して元の
バイト列を取り除けるようになります。可能な範囲で元のイベントに直接識
別子を入れず、保持期限に達したらフォルダー全体を削除できるようにパー
ティションを分け、削除後のファイル統合とスナップショットの期限切れ処
理を定期的に実行してください。

参考資料

  * Pentaho、Hadoop、データレイク — James
Dixonがこの用語とボトル入りの水との比較を紹介した、2010年10月の投稿
です。

  * データレイク再考 —
一つのレイクに一つの発生元という定義、水を配した庭園のたとえ、批判へ
の応答を述べたDixonの2014年の続編です。

  * ファイル形式 — Parquetにおける行グループ、列チャンク、データの後
に書かれるファイルメタデータの配置を説明しています。

  * Icebergテーブル仕様 —
スナップショット、アトミックなコミット、フィールドIDによるスキーマの
変更、削除ファイル、スナップショットの期限切れを定めたApache
Icebergの仕様です。

  * Hiveパーティショニング —
key=value形式のフォルダー、フィルターの押し下げ、パーティション型の
検出に関するDuckDBのドキュメントです。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/data-lake/	engineer.company	70
