ベクトル検索

どのようなものか

ベクトル検索は、保存した項目の中から、検索用のベクトルに最も近いベク
トルを持つものを探します。ベクトル類似度検索とも呼びます。ここでいう
ベクトルは、埋め込みモデルが、テキスト、画像、製品の記録から作る、一
定の長さの数値の並びです。モデルは、内容が似た項目のベクトルが近くな
るよう訓練されています。そのため、共通の単語がなくても、質問とその答
えとなる文章が近くに位置することがあります。

「近い」を決めるには尺度が必要です。この記事の例で使うPostgreSQL拡張
pgvectorは、六つの尺度に対応します。L2、すなわちユークリッド距離、内
積、コサイン距離、L1距離に加え、二値ベクトル用のハミング距離とジャ
カード距離です。どの尺度に向けたベクトルかは、埋め込みモデル自身の文
書に記されています。長さ1に正規化したベクトルでは、コサイン距離と内
積は近傍を同じ順に並べ、pgvectorは最高の性能を得るため、内積を勧めて
います。

答えを求める方法は二つあります。厳密検索は、保存したすべてのベクトル
と検索用のベクトルを比較し、真の最近傍を返します。pgvectorの既定はこ
れで、文書では完全な再現率と説明しています。近似検索では、データの一
部だけを調べるインデックスを使い、再現率の一部と引き換えに速さを得る
ことができます。真の近傍がいくつ返るかは、データ、インデックス、設定
によります。過半数さえ保証されません。そのため、pgvectorは、通常のイ
ンデックスとは違い、近似インデックスを使うと、クエリーの返す結果が変
わると警告しています。

pgvectorには、二種類の近似インデックスがあります。HNSWは、複数の層か
らなるグラフを作ります。MalkovとYashuninが2016年に初めて公開した手法
です。各層は一つ下の層の部分集合で、検索は小さな最上層から始め、全体
を持つ層まで下ります。論文は、検索コストが対数的に増えると報告してい
ます。IVFFlatは、ベクトルを複数のリストへ分け、クエリーに近いリスト
だけを検索します。

なぜ重要なのか

全文検索は単語を照合します。単語の照合と語幹処理だけでは、顧客が「画
面が真っ暗なまま」と書いても、「ディスプレイの電源が入らない」という
見出しの説明は見つかりません。語幹処理で一つにまとめられる共通の単語
がないからです。同義語を設定すれば、一部の隔たりは埋められます。ベク
トル検索は、埋め込みモデルが捉えた意味を比較するので、訴えと説明が近
くに位置し得ます。同じ考え方は、テキスト以外にも使えます。この画像に
似た画像、解決済みの問い合わせに似た問い合わせ、カート内の製品に似た
製品などです。

検索拡張生成で情報を取得する方法の一つでもあります。大規模言語モデル
は、質問に合わせて取得した文章から回答します。質問を文章と同じモデル
で埋め込み、近い文章をプロンプトへ渡します。取得した内容以上に良い回
答は期待できないため、検索にもモデルと同じだけ注意を払う必要がありま
す。

すでに運用しているデータベースにベクトルを保存することには、実務上の
利点もあります。pgvectorの文書は、その主張から始まります。ベクトルに
も、ほかの列と同じトランザクション、時点復元、結合が使えます。
pgvectorは先行書き込みログへ記録するので、レプリケーションにも含まれ
ます。顧客、日付、権限の絞り込みは、同じ行への通常の`WHERE`句です。
削除がコミットした後で取得したスナップショットには、その文書は見えま
せんが、古いスナップショットを使うクエリーには、まだ見える場合があり
ます。別のベクトルストアを持てば、データを入れ、元のシステムと同期さ
せる、二つ目のシステムが増えます。

ベクトル検索がしないことも、チームは理解する必要があります。並べる基
準は近さであり、真実かどうかではありません。最も近い文章は、質問に最
も似ている文章です。古い、間違っている、読者に閲覧権限がない文書から
来た、といった可能性は残ります。名前、部品番号、エラーコードのよう
に、正確な語に依存する質問もあります。pgvectorの文書は、PostgreSQLの
全文検索と組み合わせるよう提案しています。この組み合わせを、ハイブ
リッド検索と呼びます。

実際の活用例

2026年10月時点のpgvector 0.8.7は、PostgreSQL
13以降に対応します。データベースごとに一度だけ拡張を有効にし、モデル
の出力次元数を指定した`vector`型の列をテーブルに設けます。

```sql
CREATE EXTENSION vector;

CREATE TABLE passages (
    id        bigserial PRIMARY KEY,
    source    text NOT NULL,
    body      text NOT NULL,
    embedding vector(3)
);

CREATE INDEX ON passages USING hnsw (embedding vector_cosine_ops);
```

三次元なのは、例を読みやすくするためです。実際のモデルはもっと多くの
次元を出力し、列にはその数を宣言します。アプリケーションがモデルで各
埋め込みを計算し、元のテキストの隣へ挿入します。インデックスが対象に
する距離は一つです。`vector_cosine_ops`はコサイン距離順のクエリー用
で、L2距離順のクエリーには`vector_l2_ops`で作る二つ目のインデックス
が必要です。HNSWには訓練の段階がないため、空のテーブルでもインデック
スを作れます。

クエリーは、質問を同じモデルで埋め込み、最も近い文章を求めます。

```sql
SELECT id, source, body
FROM   passages
ORDER  BY embedding <=> $1
LIMIT  5;
```

`<=>`はコサイン距離で、`$1`はパラメーターとして渡すクエリーベクトル
です。プランナーがインデックスを使うためには、二つの条件があります。
`ORDER
BY`と`LIMIT`が両方あり、`ORDER BY`が、距離演算子そのものの昇順である
ことです。表示用の類似度スコア`1 -
(embedding <=>
$1)`は、選択する列の一覧へ置きます。ほかの演算子は、L2距離の`<->`、
L1の`<+>`、内積の`<#>`です。最後のものは負の内積を返します。
PostgreSQLが演算子を使うインデックス走査で、昇順だけに対応するためで
す。

HNSWインデックスには、構築時のパラメーターが二つあります。`m`は、各
層でノードがつなぐ近傍の数で、指定しなければ16です。
`ef_construction`は構築中の候補リストの大きさで、既定は64です。検索
時の`hnsw.ef_search`は候補リストの大きさを決め、既定は40です。増やす
と真の最近傍を多く見つけますが、クエリーは遅くなります。`SET
LOCAL`で増やすと、現在のトランザクションの終わりまで有効です。一つの
クエリーだけに限定するには、そのクエリーだけをトランザクションに入れ
ます。インデックスが再現率に与える影響を知るには、`SET
LOCAL enable_indexscan =
off`を指定したトランザクションで同じクエリーを実行し、厳密な答えを得
て、二つの一覧を比較します。

会社の専用AIエージェント開発では、過去の事例の記憶を、ベンダーの
チャット履歴ではなく、顧客自身のデータベースに保存します。`passages`
のようなテーブルは、その記憶の形の一つです。新しい事例が来たとき、最
も似た過去の事例を、一回のクエリーで、ほかのデータと同じデータベー
ス、同じ権限の下から取り出せます。

ハイブリッド検索は両方の検索を行い、二つの一覧を統合します。pgvector
の文書は、Cormack、Clarke、Büttcherの2009年の論文によるReciprocal
Rank Fusionを挙げています。各文書は、登場する一覧ごとに1 / (k +
rank)の点数を得て、それを合計します。著者らはkを60に固定し、予備実験
では60が「ほぼ最適だが、選択は決定的ではない」と報告しました。同じ
テーブルに、全文検索と同じ方法で作った`tsvector`列`search_vec`がある
とすると、統合するクエリーは次のようになります。

```sql
WITH semantic AS (
    SELECT id, row_number() OVER (ORDER BY dist) AS r
    FROM  (SELECT id, embedding <=> $1 AS dist
           FROM   passages
           ORDER  BY dist
           LIMIT  20) AS nearest
),
keyword AS (
    SELECT id, row_number() OVER (ORDER BY score DESC) AS r
    FROM  (SELECT id, ts_rank_cd(search_vec, query) AS score
           FROM   passages, plainto_tsquery('english', $2) AS query
           WHERE  search_vec @@ query
           ORDER  BY score DESC
           LIMIT  20) AS matches
)
SELECT id,
       coalesce(1.0 / (60 + s.r), 0)
     + coalesce(1.0 / (60 + k.r), 0) AS rrf
FROM   semantic AS s
FULL   JOIN keyword AS k USING (id)
ORDER  BY rrf DESC
LIMIT  5;
```

各検索は、自身の上位20件を残し、1から順位を付けます。両方で上位の文
章は二つの点数を得て上位へ進み、一方だけで見つかった文章は一つ分を得
ます。コサイン距離とテキストの順位スコアは尺度が違って比較できないた
め、統合にはスコアではなく順位を使います。pgvectorは、一覧を組み合わ
せる別の方法として、クロスエンコーダーを挙げています。

問題が起きるところ

`LIMIT`で求めた数より行が少ない。
近似インデックスでは、インデックス走査の後で`WHERE`句を適用します。
pgvectorは計算例を示しています。条件に一致する行が10%なら、既定の
`hnsw.ef_search`が40のHNSWインデックスでは、平均で約4行が残ります。
0.8.0以降には反復インデックス走査があり、十分な行がフィルターを通る
か、走査上限へ達するまで、インデックスを追加で走査します。`SET
hnsw.iterative_scan =
strict_order`で有効にするか、`relaxed_order`で順序の多少の乱れと引き
換えに再現率を上げます。HNSWの`hnsw.max_scan_tuples`は、追加で調べる
タプル数のおおよその上限で、既定は20,000です。最初の走査には影響しま
せん。別のメモリー上限で追加走査が止まる場合もあります。値の種類が少
ないフィルターなら、値ごとの部分インデックスも使えます。

クエリーが最近傍インデックスを使わない。
`ORDER BY 1 - (embedding <=> $1)
DESC`は式で並べ替えます。また、`LIMIT`がないクエリーは、件数を限定し
た最近傍結果を要求しません。どちらもpgvectorがそのインデックスを使う
ための条件を満たしません。選ばれた実行計画が何行読むかは、フィルター
や、ほかのプランナーの判断にもよります。`vector_l2_ops`で作ったイン
デックスは、`<=>`順のクエリーには役立ちません。演算子そのものの昇順
で、`LIMIT`を付けます。検索する距離ごとにインデックスを作り、
`EXPLAIN
(ANALYZE, BUFFERS)`で計画を確かめます。

IVFFlatインデックスを早く作りすぎる。
IVFFlatは、構築時に存在する行へk-meansを適用し、その結果からベクトル
をリストへ分けます。リスト数に対してデータが少なすぎる時点で作ると、
要求より少ない行しか返りません。pgvectorは、データが増えるまで削除す
るよう勧めています。まずデータを入れ、後から構築します。開始時の目安
として、百万行まではrows
/
1000個のリスト、それより多ければ行数の平方根を提案しています。既定で
1のprobesは、リスト数の平方根から始めます。HNSWには、この訓練段階は
ありません。

決して見つからない行がある。
NULLベクトルはインデックスに入りません。コサイン距離では、比較する方
向がないゼロベクトルも入りません。埋め込みが未作成の行は、インデック
スを使う検索から見えません。読み込みが安定してから`NOT
NULL`を追加し、埋め込みがない行数を定期的に数えます。

二つのモデルのベクトルを一つの列に混ぜる。
別々の埋め込みモデル、あるいは同じモデルの別バージョンは、同じテキス
トを異なる位置へ置きます。次元数が一致しても比較できません。文章を埋
め込んだモデルで質問も埋め込み、モデルを列に保存し、モデルを変えると
きはすべてを再び埋め込みます。複数の次元数を持つ列には、pgvectorは、
モデルごとの条件`WHERE
(model_id = 123)`を付けた式インデックスの例を示しています。

インデックスの次元数の上限を超える。
`vector`型は最大16,000次元を保存しますが、HNSWとIVFFlatがインデック
ス化できるのは最大2,000次元です。最大4,000次元なら`halfvec`へキャス
トしてインデックス化し、最大64,000次元なら二値量子化を使って、候補を
完全なベクトルで並べ直します。モデルが対応していれば、部分ベクトルを
インデックス化する方法もあります。

ある顧客のベクトルが、ほかの顧客を遅くする。
pgvectorは、テナント間で近似インデックスを共有すると、一つのテナント
のベクトルが、ほかのテナントの再現率や速さに影響すると警告していま
す。テーブルを顧客ごとにリストパーティションで分割するか、顧客ごとに
別のテーブルを与えます。

インデックスの構築がアプリケーションを止める。
HNSWは、グラフが`maintenance_work_mem`に収まると大幅に速く構築できま
す。収まらなくなると、pgvectorは通知を出します。ただし、そのメモリー
を大きくしすぎてサーバーのメモリーが不足するのも、障害になります。稼
働中のシステムでは、書き込みを止めない`CREATE
INDEX CONCURRENTLY`で構築します。

読者が見てはいけない文章を返す。
すべての文章を検索すると、利用者に閲覧権限がない文書のテキストが言語
モデルへ渡り、モデルが引用できてしまいます。検索と同じ`WHERE`句へ権
限条件を入れ、その行がデータベースの外へ出ないようにします。フィル
ターが候補を除いたときは、走査上限の範囲で、さらに閲覧可能な文章を探
せるよう、反復走査も有効にします。

距離を確信度として読む。
コサイン距離0.2は、0.4より近いという意味であり、質問に答えるという意
味ではありません。一つのモデルで調整した閾値は、次のモデルには意味を
持ちません。距離で並べ、`LIMIT`で件数を制限し、正しい文章が分かって
いる実際の質問集で検索を評価します。

参考資料

  * pgvector —
拡張自身の文書です。型、距離演算子、HNSWとIVFFlatの設定、フィル
ター、反復インデックス走査、ハイブリッド検索、問題の調査を扱います。

  * Efficient and robust approximate nearest neighbor search using
Hierarchical Navigable Small World graphs —
HNSWを導入したMalkovとYashuninの論文です。

  * Reciprocal Rank Fusion outperforms Condorcet and individual Rank
Learning Methods — 統合の式と、定数の根拠となった予備実験を載せた、
SIGIR 2009の論文です。

  * 全文検索の概要 — ハイブリッド検索のもう半分である、PostgreSQLの
単語に基づく検索です。

  * テキスト検索の制御 — 上のキーワード検索で使う`plainto_tsquery`と
`ts_rank_cd`を説明しています。

  * トランザクション分離 —
PostgreSQLのスナップショットにコミット済みの変更が見える時点と、削除
のコミット後も古いスナップショットから文書が見える理由です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/vector-search/	engineer.company	70
