クローラー

どのようなものか

ウェブの全ページをまとめた一覧はありません。そのため、検索エンジンは
自らページを探す必要があり、そこで送り出すプログラムがクローラーで
す。既に知っているアドレスから始め、それぞれをHTTPで取得し、返された
内容のリンクを読んで、新しいアドレスを一覧に加えます。Googleの検索の
仕組みに関するガイドは、別名として「クローラー、ロボット、ボット、ス
パイダー」も挙げています。ロボット排除の標準であるRFC
9309は、クローラーを、検索エンジンが「インデックス作成のためにリンク
を再帰的にたどる」自動クライアントと説明しています。

主な入り口はリンクです。Googleによると、Googlebotは新しいアドレスを
「主として、以前クロールしたページに埋め込まれたリンクから」見つけま
す。ガイドには、新しい投稿へリンクするカテゴリーページという、おなじ
みの例が載っています。第二の入り口は、サイトの所有者が直接渡す一覧で
あるサイトマップです。どちらにも載っていないページは、クローラーが存
在を知る手掛かりを与えません。

取得は、Googleが説明する三段階の最初です。クロールではページのテキス
ト、画像、動画をダウンロードします。インデックス作成では、ダウンロー
ドしたものを解析して保存します。検索結果の提供では、そのインデックス
から検索に答えます。Googleはクロール中にページの描画も行い、新しい
バージョンのChromeでJavaScriptを実行します。それをしなければ、「その
コンテンツが見えない可能性がある」ためです。どの段階も保証されていま
せん。Googleは「ページのクロール、インデックス作成、検索結果への表示
を保証しない」とし、「サイトをより頻繁にクロールする対価として支払い
を受け付けない」とも述べています。

クローラーには、身元を名乗ることも求められます。RFC
9309では、クローラーごとに自分の名前となるプロダクトトークンを設定し
ます。使えるのは、英字、アンダースコア、ハイフンだけです。HTTPでは
User-Agentヘッダーの値となる識別文字列に、このトークンを含め、その文
字列でクローラーの目的を説明すべきだとしています。RFCの例では、ヘッ
ダーに`ExampleBot/0.1`とクローラーを説明するページへのリンクがあり、
対応するrobots.txtの行は`user-agent:
ExampleBot`です。ただし、この名前は自己申告であり、身元の証明ではあ
りません。どのプログラムでも送れるためです。

Googleからの自動リクエストが、すべてクロールとは限りません。Googleの
概要は、クライアントを三種類に分けています。Googlebotなどの一般的な
クローラーは、「自動クロールでは常にrobots.txtの規則に従う」と説明さ
れています。特殊なクローラーは、サイトとの合意に基づいて動き、その規
則に従う場合も従わない場合もあります。利用者の操作で起動する取得プロ
グラムは、通常、人が求めたために一回だけリクエストし、robots.txtは無
視します。

なぜ重要なのか

再訪する時期はクローラー自身が決め、その振る舞いが、検索で見つけても
らうために負担するコストの一部を左右します。Googleは、大半のサイトで
Googlebotが「平均すると数秒に一回より頻繁にはアクセスしないはずだ」
としています。サイトに余裕がなくなると、クローラーは頻度を下げます。
検索ガイドの言葉では、HTTP
500エラーは「速度を落とす」合図です。クロールバジェットのガイドには
仕組み全体の説明がありますが、対象は、週ごとに更新する約百万ページの
サイトや、毎日更新する一万ページのサイトです。公開したその日にページ
がクロールされるサイトには、このガイドは不要だとGoogleは述べていま
す。

クローラーが各ファイルを読む量にも限りがあります。検索用のGooglebot
は、対応する種類のファイルでは先頭の2
MB、PDFでは先頭の64 MBを、圧縮前のサイズで読み、それ以降は無視しま
す。

弱点は名前です。Googleは、Googlebotが送るUser-Agentヘッダーが「ほか
のクローラーによって頻繁に偽装される」と注意しています。そのため、ロ
グの一行にGooglebotとあっても、それだけでは何も証明しません。Google
は二つの確認方法を示しています。一つのアドレスを調べる場合は、DNSの
逆引きを行い、ホスト名が`googlebot.com`、`google.com`、
`googleusercontent.com`のいずれかで終わることを確かめます。その名前
を正引きし、同じアドレスが返ることも確認します。Google自身の例は次の
とおりです。

```text
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
```

多数のアドレスをまとめて調べる場合は、それぞれを、Googleがクライアン
トの種類ごとにJSONファイルで公開する、CIDR表記のIPアドレス範囲と照合
します。どちらの確認も、リクエストの送信元ネットワークを根拠にしま
す。送信者がヘッダーに好きな値を書くだけでは変えられない情報です。

実際の活用例

このサイトのサーバーはアクセスログを保持し、プライバシーページで、そ
の中のクローラーをどう区別するか説明しています。各行にユーザーエー
ジェントを残し、「それによって人と検索エンジンのクローラーを区別しま
す」と説明しています。さらに、第二の手順があります。「名前を名乗るク
ローラーは、後述の、末尾をぼかしたアドレスを使い、所有者が公開する
ネットワークと照合します」としています。これはGoogleの二つ目の方法で
あり、このログが残す情報に適しています。各IPアドレスの末尾は、行が
ディスクに届く前にゼロへ置き換えます。そのため、逆引きに必要な完全な
アドレスは、保存していません。

集計では、クローラーを独立した読者層として扱います。人については三十
日間保持する記録の説明に、「自動アクセスもすべて同じ」と添えていま
す。毎日の集計は、「読まれたページの数、そのうちクローラーによるもの
の数、問い合わせページに到達した数」です。毎月の順位表には、「アクセ
スしたクローラーと自動スキャナー」を載せます。正直に名乗るクローラー
は、自分の名前で数えます。有名な名前を使っていても、所有者が公開して
いないネットワークから来れば、確認を通過しません。

AIエージェントへの対応に関するページも、同じ読者から考え始めていま
す。「エージェントの出発点は、クローラーと同じ」です。robots.txtファ
イル、サイトマップ、検索インデックスから始めます。その答えとして、デ
プロイごとのIndexNow通知に至るまで、それぞれを意図して整備します。参
加する検索エンジンが、「次の巡回時ではなく、公開したその日に新しい
ページを知る」ためです。

日付も、サイトからクローラーへの伝達手段です。ただし、役立つ情報を何
も伝えなくなる場合があります。176ページ中172ページに同じタイムスタン
プを付けたサイトマップの記録は、問題を明確に述べています。「更新日
は、ページの内容が変わったという、クローラーへの約束」です。すべての
ページについて一度にその約束をするサイトは、「全体を書き直した事実を
伝えているか、誰にも役立つ情報を何も伝えていないかのどちらか」だと続
けています。

問題が起きるところ

Googlebotを名乗るリクエストが、Googleから来ていません。
ログにGooglebot名義の大量のアクセスがあり、所有者は歓迎する相手とし
て通すか、名前ごと遮断します。ほかのクローラーがその名前をよく使うた
め、どちらの反応も安全ではありません。前者は偽物を信用し、後者は本物
のクローラーまで締め出します。一つのアドレスならDNSの逆引きと正引
き、多数ならGoogleの公開範囲との照合によって、送信元ネットワークを確
認します。名前ではなく、その結果で判断します。

公開したページが、一度もクロールされません。
どこからもリンクされていないか、ログイン後にしか到達できません。中央
の登録簿はないため、クローラーはリンクとサイトマップからアドレスを知
ります。Googleのガイドも、ログインが必要なページを、クローラーが到達
できないものとして挙げています。既にクロールされた場所からページへリ
ンクし、サイトマップに載せ、検索に出したいものにはログインを求めない
ようにします。

サーバーの不調が続いた後、クロールの頻度が下がります。
一日に取得されるページが減り、変更が認識されるまでの時間も延びます。
応答の遅さ、5xxエラー、429応答は、いずれもGoogleのクロール処理能力の
上限を下げます。応答が安定し、速くなって初めて回復し、残った枠は、そ
のホストを巡回するすべてのGoogleクローラーで共有します。まず、エラー
と遅延を直します。数千ページのサイトなら、クロールバジェットのガイド
を出発点にすべきではありません。

リンクしていないページが、クローラーのリクエストに現れます。
アドレスは公開していません。非公開の下書きや、テスト用のコピーかもし
れません。それでも、クローラーの名前でアクセスログに現れます。Google
は、リンクを公開しないことでサイトを秘密に保つのは「ほぼ不可能」だと
しています。そのページから別のサイトへのクリックにより、参照元ログに
アドレスが残り、そのログが公開される場合があるためです。非公開のもの
は、パスワードで保護します。Googleも、クローラーと人の両方を締め出す
方法として、これを挙げています。

参考資料

  * RFC 9309：ロボット排除プロトコル —
プロダクトトークン、User-Agent文字列、クローラーに従うよう求める規則
について、標準がどう定めているかを説明します。

  * Google検索の仕組みの詳細ガイド — 検出、クロール、描画、インデッ
クス作成についての、Googleによる説明です。

  * Googleのクローラーと取得プログラム（ユーザーエージェント）の概要
—
Googleクライアントの三種類、ファイルサイズの上限、プロトコル、キャッ
シュを説明します。

  * Googleのクローラーと取得プログラムからのリクエストの確認 —
DNSの照会と公開IPアドレス範囲を、実例とともに説明します。

  * クロールバジェットの最適化 — Googleが巡回頻度をどう決め、どのよ
うなサイトで調整が必要かを説明します。

  * Googlebot —
スマートフォン用とデスクトップ用のクローラー、Googlebotの訪問頻度、
読み込むファイルサイズの上限、リンクされていないページも秘密ではない
理由を説明します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/crawler/	engineer.company	70
