{"canonical_url":"https://engineer.company/ja/glossary/crawler/","content_markdown":"# クローラー\n\n## どのようなものか\n\nウェブの全ページをまとめた一覧はありません。そのため、検索エンジンは自らページを探す必要があり、そこで送り出すプログラムがクローラーです。既に知っているアドレスから始め、それぞれをHTTPで取得し、返された内容のリンクを読んで、新しいアドレスを一覧に加えます。Googleの検索の仕組みに関するガイドは、別名として「クローラー、ロボット、ボット、スパイダー」も挙げています。ロボット排除の標準であるRFC 9309は、クローラーを、検索エンジンが「インデックス作成のためにリンクを再帰的にたどる」自動クライアントと説明しています。\n\n主な入り口はリンクです。Googleによると、Googlebotは新しいアドレスを「主として、以前クロールしたページに埋め込まれたリンクから」見つけます。ガイドには、新しい投稿へリンクするカテゴリーページという、おなじみの例が載っています。第二の入り口は、サイトの所有者が直接渡す一覧であるサイトマップです。どちらにも載っていないページは、クローラーが存在を知る手掛かりを与えません。\n\n取得は、Googleが説明する三段階の最初です。クロールではページのテキスト、画像、動画をダウンロードします。インデックス作成では、ダウンロードしたものを解析して保存します。検索結果の提供では、そのインデックスから検索に答えます。Googleはクロール中にページの描画も行い、新しいバージョンのChromeでJavaScriptを実行します。それをしなければ、「そのコンテンツが見えない可能性がある」ためです。どの段階も保証されていません。Googleは「ページのクロール、インデックス作成、検索結果への表示を保証しない」とし、「サイトをより頻繁にクロールする対価として支払いを受け付けない」とも述べています。\n\nクローラーには、身元を名乗ることも求められます。RFC 9309では、クローラーごとに自分の名前となるプロダクトトークンを設定します。使えるのは、英字、アンダースコア、ハイフンだけです。HTTPではUser-Agentヘッダーの値となる識別文字列に、このトークンを含め、その文字列でクローラーの目的を説明すべきだとしています。RFCの例では、ヘッダーに`ExampleBot/0.1`とクローラーを説明するページへのリンクがあり、対応するrobots.txtの行は`user-agent: ExampleBot`です。ただし、この名前は自己申告であり、身元の証明ではありません。どのプログラムでも送れるためです。\n\nGoogleからの自動リクエストが、すべてクロールとは限りません。Googleの概要は、クライアントを三種類に分けています。Googlebotなどの一般的なクローラーは、「自動クロールでは常にrobots.txtの規則に従う」と説明されています。特殊なクローラーは、サイトとの合意に基づいて動き、その規則に従う場合も従わない場合もあります。利用者の操作で起動する取得プログラムは、通常、人が求めたために一回だけリクエストし、robots.txtは無視します。\n\n## なぜ重要なのか\n\n再訪する時期はクローラー自身が決め、その振る舞いが、検索で見つけてもらうために負担するコストの一部を左右します。Googleは、大半のサイトでGooglebotが「平均すると数秒に一回より頻繁にはアクセスしないはずだ」としています。サイトに余裕がなくなると、クローラーは頻度を下げます。検索ガイドの言葉では、HTTP 500エラーは「速度を落とす」合図です。クロールバジェットのガイドには仕組み全体の説明がありますが、対象は、週ごとに更新する約百万ページのサイトや、毎日更新する一万ページのサイトです。公開したその日にページがクロールされるサイトには、このガイドは不要だとGoogleは述べています。\n\nクローラーが各ファイルを読む量にも限りがあります。検索用のGooglebotは、対応する種類のファイルでは先頭の2 MB、PDFでは先頭の64 MBを、圧縮前のサイズで読み、それ以降は無視します。\n\n弱点は名前です。Googleは、Googlebotが送るUser-Agentヘッダーが「ほかのクローラーによって頻繁に偽装される」と注意しています。そのため、ログの一行にGooglebotとあっても、それだけでは何も証明しません。Googleは二つの確認方法を示しています。一つのアドレスを調べる場合は、DNSの逆引きを行い、ホスト名が`googlebot.com`、`google.com`、`googleusercontent.com`のいずれかで終わることを確かめます。その名前を正引きし、同じアドレスが返ることも確認します。Google自身の例は次のとおりです。\n\n```text\nhost 66.249.66.1\n1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.\nhost crawl-66-249-66-1.googlebot.com\ncrawl-66-249-66-1.googlebot.com has address 66.249.66.1\n```\n\n多数のアドレスをまとめて調べる場合は、それぞれを、Googleがクライアントの種類ごとにJSONファイルで公開する、CIDR表記のIPアドレス範囲と照合します。どちらの確認も、リクエストの送信元ネットワークを根拠にします。送信者がヘッダーに好きな値を書くだけでは変えられない情報です。\n\n## 実際の活用例\n\nこのサイトのサーバーはアクセスログを保持し、[プライバシーページ](/ja/privacy/)で、その中のクローラーをどう区別するか説明しています。各行にユーザーエージェントを残し、「それによって人と検索エンジンのクローラーを区別します」と説明しています。さらに、第二の手順があります。「名前を名乗るクローラーは、後述の、末尾をぼかしたアドレスを使い、所有者が公開するネットワークと照合します」としています。これはGoogleの二つ目の方法であり、このログが残す情報に適しています。各IPアドレスの末尾は、行がディスクに届く前にゼロへ置き換えます。そのため、逆引きに必要な完全なアドレスは、保存していません。\n\n集計では、クローラーを独立した読者層として扱います。人については三十日間保持する記録の説明に、「自動アクセスもすべて同じ」と添えています。毎日の集計は、「読まれたページの数、そのうちクローラーによるものの数、問い合わせページに到達した数」です。毎月の順位表には、「アクセスしたクローラーと自動スキャナー」を載せます。正直に名乗るクローラーは、自分の名前で数えます。有名な名前を使っていても、所有者が公開していないネットワークから来れば、確認を通過しません。\n\n[AIエージェントへの対応に関するページ](/ja/ai-ready/)も、同じ読者から考え始めています。「エージェントの出発点は、クローラーと同じ」です。robots.txtファイル、サイトマップ、検索インデックスから始めます。その答えとして、デプロイごとのIndexNow通知に至るまで、それぞれを意図して整備します。参加する検索エンジンが、「次の巡回時ではなく、公開したその日に新しいページを知る」ためです。\n\n日付も、サイトからクローラーへの伝達手段です。ただし、役立つ情報を何も伝えなくなる場合があります。[176ページ中172ページに同じタイムスタンプを付けたサイトマップ](/ja/portfolio/fixed-a-sitemap-with-one-shared-timestamp/)の記録は、問題を明確に述べています。「更新日は、ページの内容が変わったという、クローラーへの約束」です。すべてのページについて一度にその約束をするサイトは、「全体を書き直した事実を伝えているか、誰にも役立つ情報を何も伝えていないかのどちらか」だと続けています。\n\n## 問題が起きるところ\n\n**Googlebotを名乗るリクエストが、Googleから来ていません。** ログにGooglebot名義の大量のアクセスがあり、所有者は歓迎する相手として通すか、名前ごと遮断します。ほかのクローラーがその名前をよく使うため、どちらの反応も安全ではありません。前者は偽物を信用し、後者は本物のクローラーまで締め出します。一つのアドレスならDNSの逆引きと正引き、多数ならGoogleの公開範囲との照合によって、送信元ネットワークを確認します。名前ではなく、その結果で判断します。\n\n**公開したページが、一度もクロールされません。** どこからもリンクされていないか、ログイン後にしか到達できません。中央の登録簿はないため、クローラーはリンクとサイトマップからアドレスを知ります。Googleのガイドも、ログインが必要なページを、クローラーが到達できないものとして挙げています。既にクロールされた場所からページへリンクし、サイトマップに載せ、検索に出したいものにはログインを求めないようにします。\n\n**サーバーの不調が続いた後、クロールの頻度が下がります。** 一日に取得されるページが減り、変更が認識されるまでの時間も延びます。応答の遅さ、5xxエラー、429応答は、いずれもGoogleのクロール処理能力の上限を下げます。応答が安定し、速くなって初めて回復し、残った枠は、そのホストを巡回するすべてのGoogleクローラーで共有します。まず、エラーと遅延を直します。数千ページのサイトなら、クロールバジェットのガイドを出発点にすべきではありません。\n\n**リンクしていないページが、クローラーのリクエストに現れます。** アドレスは公開していません。非公開の下書きや、テスト用のコピーかもしれません。それでも、クローラーの名前でアクセスログに現れます。Googleは、リンクを公開しないことでサイトを秘密に保つのは「ほぼ不可能」だとしています。そのページから別のサイトへのクリックにより、参照元ログにアドレスが残り、そのログが公開される場合があるためです。非公開のものは、パスワードで保護します。Googleも、クローラーと人の両方を締め出す方法として、これを挙げています。\n\n## 参考資料\n\n- [RFC 9309：ロボット排除プロトコル](https://www.rfc-editor.org/rfc/rfc9309) — プロダクトトークン、User-Agent文字列、クローラーに従うよう求める規則について、標準がどう定めているかを説明します。\n- [Google検索の仕組みの詳細ガイド](https://developers.google.com/search/docs/fundamentals/how-search-works) — 検出、クロール、描画、インデックス作成についての、Googleによる説明です。\n- [Googleのクローラーと取得プログラム（ユーザーエージェント）の概要](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers) — Googleクライアントの三種類、ファイルサイズの上限、プロトコル、キャッシュを説明します。\n- [Googleのクローラーと取得プログラムからのリクエストの確認](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests) — DNSの照会と公開IPアドレス範囲を、実例とともに説明します。\n- [クロールバジェットの最適化](https://developers.google.com/crawling/docs/crawl-budget) — Googleが巡回頻度をどう決め、どのようなサイトで調整が必要かを説明します。\n- [Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot) — スマートフォン用とデスクトップ用のクローラー、Googlebotの訪問頻度、読み込むファイルサイズの上限、リンクされていないページも秘密ではない理由を説明します。\n\n\u003chttps://engineer.company/ja/glossary/crawler/\u003e\n","date_modified":"2026-11-09T21:50:25Z","description":"クローラーがページを見つけ、巡回の頻度を調整する仕組みを解説します。アクセスログで本物と偽物を区別する方法や、クロールされても検索インデックスに登録されるとは限らない理由も説明します。","formats":{"gemtext":"https://engineer.company/ja/glossary/crawler/index.gmi","gopher":"https://engineer.company/ja/glossary/crawler/gophermap","html":"https://engineer.company/ja/glossary/crawler/","json":"https://engineer.company/ja/glossary/crawler/index.json","markdown":"https://engineer.company/ja/glossary/crawler/index.md","pdf":"https://engineer.company/ja/glossary/crawler/index.pdf"},"kind":"page","language":"ja","title":"クローラーとは？","url":"https://engineer.company/ja/glossary/crawler/","version":1}