データウェアハウス

どのようなものか

データウェアハウスは、事業を動かすためではなく、事業についての問いに
答えるために作るデータベースです。注文を受ける、出荷を手配する、請求
書を発行する、サポートの電話を記録するといったシステムは、それぞれの
仕事に適した形で、自分のデータを持っています。ウェアハウスは、それら
すべてからコピーを受け取り、何年も保存します。複数のシステムにまたが
る問いが、一週間分のエクスポート作業ではなく、一つのクエリーで済むよ
うに整理します。これを構築して運用することを、データウェアハウジング
と呼びます。

コピー元のデータベースとの違いは、処理の性質です。注文システムは、一
度に少数の行を、一分間に何千回も読み書きし、現在だけを保持します。顧
客が引っ越すと、古い住所を上書きします。ウェアハウスへの書き込みは
バッチで行い、読み取りは、一度に数百万行を走査するクエリーです。過去
を意図的に残すため、去年の数字を、去年の事業の区分のまま集計し直せま
す。

Ralph Kimballは、1996年にウェアハウス業界へディメンショナルモデリン
グを広めました。Kimball
Groupは、この種のシステムを二つの部屋に分けます。裏側の部屋には、ETL
システムを置きます。それを34のサブシステムに分け、四つの仕事にまとめ
ています。発生源からのデータ抽出、クレンジングと共通定義への整合、プ
レゼンテーション領域への提供、全体の管理です。表側の部屋には、実際に
人が問い合わせるプレゼンテーション領域を置きます。業務プロセスごとに
整理し、各プロセスが記録する最も細かい粒度を保ち、速くするための集計
結果を加え、ファクトテーブルとディメンションテーブルで構成します。そ
の周りには、BIアプリケーションを置きます。個別のクエリー、標準レポー
ト、ダッシュボード、スコアカード、分析アプリケーションです。Kimball
Groupは、表側の部屋を「DW/BIシステムの対外的な顔」と呼んでいます。

構成は、これだけではありません。Kimball Group自身のアーキテクチャの
ページは、Corporate Information
Factoryも説明しています。最小粒度のデータを、第三正規形に正規化した
企業全体のウェアハウスに保持し、二段目のETLで、レポート用のディメン
ショナルなテーブルへ読み込む、ハブ・アンド・スポーク型の設計です。ま
た、既存の正規化したウェアハウスから、ディメンショナルなプレゼンテー
ション領域へ供給する、混合型も説明しています。どの構成にも共通するの
は、分離です。事業を動かすシステムは、事業を分析する場所にはしませ
ん。

ウェアハウスは製品名ではなく、役割です。チームが運用するサーバー上の
PostgreSQLやMicrosoft SQL
Serverでも、Google
BigQueryのようなマネージドサービスでも構いません。GoogleはBigQuery
を、クラウドのデータウェアハウスと分析ツールを組み合わせた、完全マ
ネージドのデータプラットフォームと説明しています。BigQueryは、スト
レージと計算資源を分け、それぞれを独立に拡張します。行ではなく列ごと
にデータを保存し、ANSI標準のSQLでクエリーを受け付けます。

なぜ重要なのか

企業が同じ問いを二つのシステムへ投げると、二つの答えが返ります。営業
は注文時、経理は請求書の支払い時、サポートは問い合わせが届くたびに、
顧客を数えます。それぞれの目的では間違っていませんが、互いの数字は一
致しません。ウェアハウスでは、一つの定義について合意し、読み込み処理
に明記します。そこから作るすべてのレポートが、同じ方法で数えるためで
す。

Kimball
Groupの道具は、適合ディメンションです。一つの顧客、一つの製品、一つ
のカレンダーを、ETLシステム内で集中的に管理し、必要とするすべての
ファクトテーブルで共有します。同じ顧客ディメンションを参照する、営業
のファクトテーブルとサポートのファクトテーブルは、行ごとに比較できま
す。バスアーキテクチャでは、業務プロセスと、それらが共有するディメン
ションを、アーキテクチャの設計図と呼ぶ行列に並べます。業務プロセスを
一つずつ追加してウェアハウスを作れるため、提供までの期間を短縮できる
としています。同じディメンションを使えば、注文を扱う部分を今四半期
に、返品を扱う部分を次の四半期に提供し、すでに届けた部分を設計し直さ
ずに済みます。

第二の理由は、履歴です。業務システムは現在の状態を保持しますが、ウェ
アハウスは、すべての状態を残せます。変化する属性を扱うKimballのタイ
プ2という技法は、新しい値と新しい代理キーを持つディメンション行を追
加します。その時点以降に読み込むファクトは、すべて新しい行を指しま
す。顧客の引っ越し前の売上は古い地域に残し、引っ越し後の売上は新しい
地域へ結び付けます。少なくとも、適用開始日、有効期限、現在有効な行を
示すフラグという三つの追加列があれば、どの日に何が正しかったかを問い
合わせられます。

第三の理由は、単純に負荷です。三年分の注文を走査するレポートを、今日
の注文を受け付けるデータベースで実行すべきではありません。購入手続き
と、同じメモリー、ディスク、ロックを奪い合うためです。分析を専用の
データベースへ移せば、それぞれの仕事に合わせて調整できます。

代償は、ウェアハウスがコピーであることです。データの鮮度は最後に読み
込んだ時点までで、正しさは、その読み込み規則の正しさ次第です。実行す
るスケジュールと、事業で合意した売上、顧客、一か月の定義、その両方に
責任を持つ人が必要です。

実際の活用例

ディメンショナルなウェアハウスの中心は、最初に粒度を宣言したファクト
テーブルです。ここでは、注文の一明細につき一行とし、その内容を説明す
るディメンションで囲みます。顧客ディメンションにはタイプ2の列を持た
せ、顧客が引っ越したら上書きせず、二行目を作ります。

```sql
CREATE TABLE dim_customer (
    customer_key bigint PRIMARY KEY,   -- ウェアハウスが管理する代理キー
    customer_id  text NOT NULL,        -- 元のシステムでのキー
    region       text NOT NULL,
    valid_from   date NOT NULL,
    valid_to     date,                 -- 現在有効な行では空欄
    is_current   boolean NOT NULL
);

CREATE TABLE fact_order_line (
    date_key     integer NOT NULL REFERENCES dim_date,
    customer_key bigint  NOT NULL REFERENCES dim_customer,
    product_key  bigint  NOT NULL REFERENCES dim_product,
    quantity     integer NOT NULL,
    net_amount   numeric(12, 2) NOT NULL
);

SELECT d.year, c.region, sum(f.net_amount) AS revenue
FROM fact_order_line AS f
JOIN dim_date AS d USING (date_key)
JOIN dim_customer AS c USING (customer_key)
GROUP BY d.year, c.region
ORDER BY d.year, c.region;
```

各注文明細は、その時点で有効だった顧客行とともに読み込んでいるので、
このクエリーは、購入時に顧客が住んでいた地域ごとの売上を返します。代
わりに`customer_id`で結合し、`is_current`で絞ると、過去全体を現在の
地域で集計し直します。どちらも正当な問いであり、モデルは、データの二
つ目のコピーを作らずに、両方へ答えられます。

データウェアハウス設計サービスが約束するのは、まさに最初の理由です。
営業、業務、経理の数字を一か所に集め、二部門が同じ会議へ二つの答えを
持ち込まなくなるようにします。より大きな規模では、創業者は2022年から
2024年に、PostgreSQL、Microsoft
SQL Server、Google
BigQuery上の100のデータウェアハウス用データベースを設計し、運用しま
した。主に、空間座標やセンサーの読み取り値など、GISデータと時系列
データを保持していました。最初の二つのエンジンでは、正規化したテーブ
ルと非正規化したテーブルの構成、空間インデックス（PostgreSQLでは
PostGIS）、時系列のパーティション分割を組み合わせました。BigQueryで
は、時間でパーティション分割し、クラスタリングしたテーブルに、圧縮と
列指向ストレージを使いました。GISと時系列データへのクエリー応答時間
は40–60%短くなり、この基盤により、データベースを使う組織が、リアルタ
イム分析ダッシュボードなどの新しいデータ製品を提供できました。

問題が起きるところ

一つのファクトテーブルに二つの粒度を入れると、どの合計でも一部の金額
を二重に数えます。
注文には明細があり、注文全体に属する配送料もあります。各明細に配送料
を入れると、明細の合計では、明細の数だけ数えます。Kimball
Groupの四段階の設計手順は、業務プロセスを選ぶ直後、ディメンションや
ファクトに名前を付ける前の、二番目に粒度の宣言を置きます。異なる粒度
を、一つのファクトテーブルで共有してはいけない、という規則です。
注文全体の料金は、注文単位の別のファクトテーブルに保持するか、事業で
合意した規則に従って、明細へ配分します。

顧客が引っ越すと、去年のレポートが変わります。
顧客行の地域を単純に上書きすると、過去の売上もすべて、顧客とともに新
しい地域へ移ってしまいます。一月に承認したレポートが、六月には別の内
容になります。履歴が重要な属性には、タイプ2を使います。現在の行を閉
じ、新しい代理キーで行を追加します。一つのデータベーストランザクショ
ンで行い、どの読み込み処理にも、両方の行が現在有効だと見える瞬間を作
らないようにします。

```sql
BEGIN;
UPDATE dim_customer
SET valid_to = current_date, is_current = false
WHERE customer_id = 'C-1042' AND is_current;
INSERT INTO dim_customer
    (customer_key, customer_id, region, valid_from, valid_to, is_current)
VALUES (90731, 'C-1042', 'North', current_date, NULL, true);
COMMIT;
```

二つのチームが二つの顧客ディメンションを作り、終わらせるはずだった議
論をウェアハウスが繰り返します。
新しい分析分野を扱う部分は、自分用の顧客一覧や製品一覧のコピーを持た
せた方が早く提供できます。しかし、それぞれのコピーがずれます。一方は
閉鎖したアカウントを外し、もう一方は異なる方法で重複をまとめます。共
有するディメンションは、ETLシステム内で一度だけ作り、新しいファクト
テーブルには、それを使わせます。バス行列が確認表になります。業務プロ
セスを加える前に、新しいファクトテーブルが、既存のどのディメンション
を指す必要があるかを示します。

レポートが、準備用のテーブルを直接参照します。
発生源からの生のコピーは、まず裏側の部屋へ届きます。読み込みが済んで
いるので、そこを直接問い合わせたくなります。しかし、そのテーブルに
は、各発生源独自のコード、重複、欠損があり、発生源が変わるたびに変わ
ります。その上に作ったレポートは、ウェアハウスが解くはずだった問題を
引き継ぎます。裏側の部屋はETLシステム専用にし、レポート、ダッシュ
ボード、分析担当者には、プレゼンテーション領域だけを使わせます。数字
を一致させるのは、そこにある適合ディメンションと、宣言した粒度です。

参考資料

  * KimballのDW/BIシステムの技術アーキテクチャ —
裏側と表側の部屋、ETLのサブシステム、メタデータ、ハブ・アンド・ス
ポーク型と混合型の選択肢です。

  * 企業データウェアハウスのバスアーキテクチャ — 適合ディメンショ
ン、バス行列、業務プロセスを一つずつ追加する構築方法です。

  * 四段階のディメンショナル設計手順 — 業務プロセス、粒度、ディメン
ション、ファクトを、この順で決めます。

  * タイプ2：新しい行の追加 — 新しい行、新しい代理キー、三つの追加列
によって、変わる属性の履歴を保存する方法です。

  * BigQueryの概要 — Googleのマネージドウェアハウスです。ストレージ
と計算資源を分け、データを列ごとに保存します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/data-warehouse/	engineer.company	70
