データセット

どのようなものか

データセットは、英語ではdatasetともdata
setとも書き、人が一つのものとして扱う、範囲を区切ったデータの集まり
です。名前、発生源、対象期間、各レコードに共通する形を持ち、この四つ
によって、どこからどこまでを含むかが決まります。一つのファイルに入っ
た一か月分のメーター読み取り値も、関連する三つのテーブルを毎晩エクス
ポートして得るデータも、データセットです。大きさや形式を示す語ではな
く、その中のデータを一緒に扱うという意味です。

このサイトのページも、この実務上の意味で使っています。あるページは、
JSONL形式の履歴データセットと、性能比較に使った1日分と30日分のデータ
セットについて述べます。別のページは、ほかへ読み込むために出力した、
整備済みのデータセットとテーブルを扱います。さらに別のページは、ス
マートメーターが生む膨大なデータセットを扱います。どの場合も、処理に
かける前に、対象データの範囲を定めています。

W3CのData Catalog
Vocabulary、DCATは、この語に正式な枠組みを与えます。バージョン3は、
2024年8月22日にW3C勧告となりました。データセットを、「単一の主体が公
開または整備し、一つ以上の直列化された表現または形式でアクセスやダウ
ンロードが可能な、データの集まり」と定義します。意図的に広い概念で、
数値、テキスト、画像、音声のいずれも含みます。その上で、日常の言葉で
は混同する、三つのものを分けます。

  * データセット：データそのものの概念です。たとえば、2024年の地域ご
との一時間単位の消費量です。

  * 配布物：ダウンロードできるCSVファイルなど、アクセス可能な一つの
形です。一つのデータセットに、複数あって構いません。

  * データセット系列：月ごとのファイルのように、別々に公開され、まと
められるだけの共通点を持つデータセット群です。

したがって、形式の異なる二つのファイルが、一つのデータセットの場合も
あります。同じ名前の下にある二つの月別ファイルが、一つの系列の二つの
要素である場合もあります。

Google
BigQueryでは、もっと狭い第二の意味があります。データセットは、テーブ
ル、ビューなどのリソースを入れる、プロジェクト内の入れ物です。テーブ
ルは、必ずデータセットに属するため、データを読み込む前に、データセッ
トを作ります。GoogleSQLでは`project.dataset`、bqコマンドラインツール
では`project:dataset`として指定します。どちらの意味かは、文脈で決ま
ります。

なぜ重要なのか

範囲を区切ることで、データを比較できます。二組の読み取り値を比較でき
るのは、対象期間、場所、レコードの間隔が同じときだけです。データセッ
トに名前を付けることで、その条件を固定します。DCATは、間隔に時間解像
度という専用のプロパティーを用意しています。要素間の最小間隔を、一日
を表す`P1D`のような期間で記します。解像度を明記したデータセットな
ら、最初に合計する前に、行が一時間ごとか、十五分ごとか、不規則なのか
が分かります。

説明は、データと一緒に渡す必要があります。DCATは、配布物が自分につい
て示せる情報として、メディアタイプ、形式、圧縮形式、パッケージ形式、
バイト数、チェックサムを挙げます。最後のチェックサムがあれば、受け
取った人は、中身が変わっていないか確かめられます。仕様自体は、圧縮形
式の例にgzipを使っています。こうした情報があれば、届いたファイルを検
査し、開けます。何も付いていなければ、推測しなければなりません。

配布形式によって、誰が読めるかが決まります。よく使うものは、三つあり
ます。

  * CSV。 2005年のRFC
4180は、多くの実装が従っていると思われる形を記録しています。一行に一
レコードを置き、見出し行は任意です。カンマ、改行、二重引用符のいずれ
かを含むフィールド全体を二重引用符で囲み、フィールド内の二重引用符は
二つ重ねて書きます。ほとんどの道具で開けます。

  * JSON Lines。
一行に一つの有効なJSON値を置き、UTF-8を使い、行の区切りには`\n`を使
います。拡張子は`.jsonl`、gzip圧縮なら`.jsonl.gz`です。ファイル末尾
の改行は強く推奨されますが、必須ではありません。プログラムは、一レ
コードずつ読めます。Unix系のテキストツールやシェルのパイプでも扱いや
すい形式です。

  * Parquet。
各列の値をまとめて保持する、オープンソースのデータファイル形式です。
効率のよい保存と取得のために作られ、圧縮と符号化の方式によって、複雑
なデータを大量に扱えます。

最初の二つの形式で、一レコードを表すと次のようになります。注記に含む
カンマのため、CSVでは引用符が必要です。

```text
id,read_at,kwh,note
M-17,2024-01-08T10:00:00Z,3.21,"late, manual"

{"id":"M-17","read_at":"2024-01-08T10:00:00Z","kwh":3.21,"note":"late, manual"}
```

実際の活用例

複数の発生源から一つのデータセットを作る仕事では、電力データの報告頻
度が、発生源ごとに違っていました。一時間ごとから15分ごとまであり、不
規則なタイムスタンプも含まれ、一貫して比較できるデータセットを作りに
くい状態でした。履歴のJSONLデータセットの生イベントを、一時間ごとの
消費量へ変換しました。一時間、一地域につき一行とし、各区間の発電構成
を合計し、輸入を足し、輸出を引きます。Python、JQ、SQLの三つの実装を
作りました。Pythonのパイプラインは、JSONLファイルを解析してデータフ
レームにし、時系列を一時間間隔にリサンプリングしました。結果はCSVと
して出力するか、確認用の軽量なSQLiteデータベースへ読み込みました。1
日分と30日分の履歴データセットで測ると、三つの中で最速で、一日分は34
ms、三十日分は180
msでした。入力から出力への作業は、粒度の変更です。各発生源固有の間隔
を、一時間、一地域につき一行という固定の形へそろえます。

データセットを移すのは、別の仕事です。六つのETL/ELTパイプラインで、
IPsec
VPNの先にある遠隔のウェアハウスから、Google
BigQueryへデータを運びました。入力は、Parquet、CSV、.bakファイルを含
む圧縮アーカイブで、BashとPythonのスクリプトが、種類とスキーマで各
ファイルを分類しました。処理で行をクレンジングし、正規化し、情報を
補った後、整備済みのデータセットとテーブルを中間形式へ出力しました。
gzipで圧縮し、Google
Cloud Storageのバケットへ転送し、そこからbq
CLIとPythonスクリプトでBigQueryへ読み込みました。手作業では3時間以上
かかっていた転送が、自動化後は20分未満となり、週一回だったテーブルの
更新も、毎日になりました。

第三は、データセットを読む仕事です。複数の地域のスマートメーターが、
膨大なデータセットを生みました。それを元に、PostgreSQLとBigQueryで、
純粋なSQLによる500本を超える分析レポートを作成しました。データセット
には、位置座標、メーターID、タイムスタンプ付きの電力使用量、環境メタ
データが含まれていました。各レポートには、同僚が再現し、監査できる注
記付きSQLを付けました。トラブルシューティングの説明には、GPS座標の欠
落やメーター値の破損など、よくあるデータ品質の問題と、推奨する扱いを
記録しました。同僚が再現し、監査できるデータセットなら、計画担当者も
信頼できます。この仕事は、運用計画の効率を10–15%高めるのに貢献しまし
た。

問題が起きるところ

データセットの問題の多くは、データについての事実が、一人の頭の中にし
か残っていないことから生じます。

粒度が書かれていません。
一時間ごとの行と十五分ごとの行を足すと、一部の区間を四回数えてしまい
ます。UTCで一時間、一地域につき一行など、粒度を一文で書き、合計する
前に、すべての発生源をそれへそろえます。

欠測をゼロと読みます。
空のフィールド、null、0は、それぞれ別の意味です。合計では、欠けた読
み取り値を、黙って使用量なしとして扱いがちです。スマートメーターの仕
事では、GPS座標の欠落とメーター値の破損が多く、扱いを文書化しまし
た。欠測を捨てるか、補うか、印を付けるかを列ごとに決め、データセット
の説明に明記します。

CSVの方言がずれます。 RFC
4180は共通の形を記しますが、実際のファイルは、別の区切り文字、見出し
の欠落、引用符なしのカンマ入りフィールドなど、そこから外れます。RFC
では見出しは任意で、有無を示すのはMIMEパラメーターだけです。ファイル
をディスクへコピーすると、その情報は失われます。新しいファイルを読み
込む前に、最初の行を、期待する見出しと照合します。

コピーが、出所を忘れます。
整備済みの抽出データを第二のシステムへ読み込むと、一か月後には元の
データと区別がつかなくなります。コピーごとに、発生源、対象期間、抽出
時刻、チェックサムを添え、レポートが、どの抽出データを読んだか示せる
ようにします。

BigQueryのデータセットを、誤った場所に置きます。
ロケーションは、作成時に固定されます。移すには、コピーするか、データ
セットを作り直します。一つのクエリーに含むすべてのテーブルは、同じロ
ケーションのデータセットにある必要があるので、最初の読み込み前に選び
ます。

参考資料

  * Data Catalog Vocabulary（DCAT）バージョン3 —
W3Cによる、データセット、配布物、データセット系列の定義と、それぞれ
を説明するプロパティーです。

  * BigQuery：データセットの概要 — 入れ物としての意味を説明します。
プロジェクト、ロケーション、命名、制限を含みます。

  * JSON Lines — この形式の三つの規則と、ファイル名の慣例です。

  * RFC 4180：CSVファイルの共通形式とMIMEタイプ —
多くの道具が従うCSVの形、引用符の規則、text/csvタイプです。

  * Apache Parquet：概要 — 列指向のファイル形式の説明と、仕様の置き
場所です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/dataset/	engineer.company	70
