データ分析

どのようなものか

記録された事実を、行動に使える答えへ変えるのが、データ分析の仕事で
す。英語ではdata
analytics、または単にanalyticsと呼びます。米国の標準機関NISTが公開す
るビッグデータの枠組みでは、データを順序立てて調べ、必要に応じて形を
変え、パターン、データ間の関係、時間的な傾向を見いだし、その後を予測
することを意味します。NISTはそれを、生データを組織が使える知識へ変え
る、より広い「データ分析のライフサイクル」の一段階としています。収
集、準備、分析、可視化、アクセスの提供という流れです。

データ処理の一種ですが、トランザクション処理とは、読む対象が異なりま
す。アプリケーションは注文を一件ずつ書きますが、分析クエリは数百万行
を読んで少数の結果を返します。また、分析で使うデータを供給するパイプ
ラインや保存先を構築する、データエンジニアリングとも異なります。

この語には、かなり異なる仕事が含まれます。

  * レポート作成： 同じ数値を、PDFやメールで定期的に届けます。

  * ダッシュボード： Power BIなどのビジネスインテリジェンスツール
で、その数値を最新に保ちます。

  * 個別の分析： これまでなかった問いのためにSQLを書き、多くの場合は
BigQueryなどのデータウェアハウスに問い合わせます。

  * 地理空間分析： GISの地図データに同じ作業を行い、数量だけでなく場
所も問います。

  * 分析アプリケーション： コードを書かない人向けに、フォームの背後
でモデルや統計手法を使います。

  * ウェブ・製品の利用分析： サイトの訪問者や製品の利用者と、その行
動を数えます。

最後の種類にはプライバシーの負担があり、このサイトのプライバシー、
Cookie、クレジット、セキュリティのページで「アクセス解析なし」と述べ
るのは、その意味です。解析タグ、追跡ピクセル、Cookie、解析会社のアカ
ウントはありません。ただし、サイト自身の測定は行います。ウェブサー
バーがアクセスログを保持し、プログラムが日ごとの件数と、読まれたペー
ジ、参照元サイト、クローラーの月間順位に変えます。数値として保持し、
個々の訪問者の経路には結び付けません。

なぜ重要なのか

分析の費用の大半は、クエリをどこで動かし、人に関するデータをどう集め
るか、という二つの選択で決まります。

トランザクション用のデータベースで分析するのが、最も安く始める方法で
す。最新のデータを使え、コピーも不要ですが、各レポートが、メモリーと
ディスクをアプリケーションと取り合います。読み取りレプリカは、二台目
のサーバーの費用と引き換えに、その負荷をプライマリーから外します。
BigQueryなどのデータウェアハウスは、保存と計算を分離し、オンデマンド
料金では、各クエリが読むバイト数で請求するため、狭く絞ったクエリが有
利です。また、データをコピーするパイプラインが必要です。

乗り換えの難しさは、定義に隠れます。BIツールが独自の数式言語で指標を
保持すると、一年後、「アクティブな顧客」の意味が、そのツールでしか開
けない一つのファイルに置かれます。定義をSQLとしてリポジトリに保持す
れば、ツールを変えても残ります。

ウェブや製品の利用分析には、法的な問いも加わります。一般的な外部ツー
ルは、各ページのタグ、すなわちブラウザーにCookieなどの識別子を置き、
各閲覧を提供事業者へ報告するスクリプトで動きます。EUのePrivacy指令第
5条(3)は、訪問者の機器への情報の保存・読み取りを、二つの例外を除き、
同意を条件としています。例外は、ネットワーク通信の伝送だけを目的とす
る保存・アクセスと、利用者が明示的に求めたサービスの提供に厳密に必要
な保存・アクセスです。Cookie識別子やIPアドレスを通じてであっても、事
象を人に結び付けられるなら、GDPRも適用されます。適法な根拠、明示した
目的、保存期間が必要です。そして、訪問者の行動記録を持つ会社が、もう
一社増えます。

したがって実際の選択肢は、すぐに追加できダッシュボードも付く外部ツー
ル、自社で構築・運用する収集の仕組み、またはサーバーがすでに書くログ
の集計です。最後は答えられる問いが少ない代わりに、保持する情報もずっ
と少なくなります。

実際の活用例

ビジネス上の人脈をつなぐプラットフォームでは、第三者のタグの代わり
に、PostgreSQL内に自社管理の利用分析を構築しました。7テーブルと47関
数のスキーマ、定期的に古い分を削除する22のパーティション定義を持つイ
ベントテーブル、更新するソルトで仮名化した訪問者IDを備えます。訪問者
が同意するまではクライアントから何も送らず、NISTがデータローカリティ
と呼ぶように、データがあるデータベースの中でファネルを計算します。そ
のページは代償も示しています。ソルトを更新するため長期のコホート分析
はできず、無償のダッシュボードも付いてきません。

レポート側では、Pythonによる分析レポートシステムが、データを取得し、
分析し、同じPDFレポートを、事業上の判断を行う人に、あらかじめ決まっ
た日程で届けました。そのページは、四半期のソフトウェア売上が400%増え
た要因として、このレポートを挙げています。

このサイトが三つ目の例です。プライバシーのページで、測定内容を説明し
ています。IPアドレスの末尾を行の書き込み前にゼロにするアクセスログ、
名前だけを保持する参照元サイト、約三十日の行の保存期間です。プログラ
ムがログから日次集計と月間順位を作り、どちらも、単一の訪問に結び直せ
る情報のない件数として無期限に保持します。タグもCookieも第三者もない
ため、同意バナーを表示せず、「同意する対象がない」と説明しています。
限界も明かしています。ログの行が残っている間は、小規模なネットワーク
と珍しいブラウザーの組み合わせから、サイト側の望む以上に訪問者を絞り
込めてしまいます。読者の機器に何も保存せず、他者へ何も送らない代わり
に、得られる答えは少なく、ファネルもありません。

問題が起きるところ

二つのツールで訪問者数が違う

外部ツールの先月の数値に対し、サーバーログは倍の数を示します。どちら
も、異なる対象について正しい場合があります。タグはスクリプトを動かし
たブラウザーだけを数え、バナーがあれば同意した訪問者だけを数えます。
ログは、除外するまでクローラーも含め、すべてのリクエストを数えます。
含むものと除くものを含め、各指標の定義をSQLで一度、書き留めます。

レポートがアプリケーションを遅くする

毎週月曜、週次レポートがトランザクション用データベースでテーブル全体
を走査し、アプリケーションが遅くなります。レポートをレプリカやデータ
ウェアハウスへ移すか、毎晩、生の行を小さな集計テーブルへまとめ、その
上でウィンドウ関数を使います。

```sql
SELECT day,
       signups,
       sum(signups) OVER (ORDER BY day
                          ROWS BETWEEN 6 PRECEDING AND CURRENT ROW)
         AS last_7_days
FROM daily_counts
ORDER BY day;
```

バナーだけを除いて、追跡を残す

Cookieを「Cookieなし」の製品に置き換え、同意バナーを外して、訪問者の
追跡は続けます。第5条(3)が扱うのは、仕組みにかかわらず、機器上の情報
へのアクセスです。技術的な範囲に関するEDPBのガイドラインは、HTTPヘッ
ダーによるフィンガープリンティングや、IPアドレスだけによる移動の追跡
も対象になり得るとしています。同時に、規則の適用だけで、直ちに同意が
必要になるわけではないことも確認しています。Cookieを設定するかではな
く、一つの要求を次へ結び付けるかで、ツールを判断します。

規制当局が認めない同意

同意するまでバナーがページを塞ぎ、スクロールを同意と扱い、または撤回
を同意より難しくします。EDPBの同意ガイドラインは、Cookieウォールでは
自由に与えられた同意にならず、スクロールは明確な積極的行為には決して
ならないとします。GDPR第7条(3)は、撤回を同意と同じ容易さにするよう求
めます。拒否に同意と同じ重みを与え、答えが来るまで何も送りません。

仮名化したイベントを永久に保持する

毎月数百万行増えるイベントテーブルで、ハッシュ化した利用者IDを匿名と
扱います。GDPRの前文26は、追加情報で本人に結び付けられる仮名化データ
を個人データとし、前文30は、IPアドレスやCookie識別子をオンライン識別
子の例に挙げ、その痕跡を他の情報と組み合わせると、人物のプロファイリ
ングや特定に使える場合があるとしています。最初のイベントが届く前に保
存期間を定め、期限切れの月を丸ごと削除できるよう時間で分割し、長期の
数値は識別子のない集計として保持します。

参考資料

  * NIST SP 1500-1r2『Big Data Interoperability Framework:
Definitions』：この記事の出発点となる、分析、分析のライフサイクル、
データローカリティの定義です。

  * 指令2002/58/ECの統合版：訪問者の機器に保存・読み取りするものの同
意要件を定める第5条(3)と、二つの例外です。

  * 規則(EU)
2016/679、GDPR：同意の定義、撤回に関する第7条、仮名化データとオンラ
イン識別子に関する前文26・30です。

  * 同意に関するEDPBガイドライン05/2020：Cookieウォール、スクロー
ル、撤回を実例とともに説明します。

  *
第5条(3)に関するEDPBガイドライン2/2023：IP追跡、フィンガープリンティ
ング、追跡ピクセルにも、Cookieと同じルールが適用され得る理由を説明し
ます。

  * PostgreSQLチュートリアル：ウィンドウ関数：関連する行の順位や累計
を、データベース内で計算する方法です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/analytics/	engineer.company	70
