robots.txt

どのようなものか

ウェブ上の各ホストは、固定のパス`/robots.txt`に、巡回プログラムへ宛
てた要望を並べるプレーンテキストファイルを公開できます。Martijn
Kosterが1994年に慣例を定め、2022年9月にIETFがRobots Exclusion
ProtocolとしてRFC
9309を公開し、規則の厳密な記述と、エラーやキャッシュへの対応を加えま
した。

ファイルはグループの一覧です。グループは、一つ以上の`user-agent`行で
始まり、各行に`ExampleBot`などの製品トークンでクローラーを指定する
か、すべてのクローラーを表す`*`を記します。その下に、それぞれパスを
持つ`allow`行と`disallow`行を置きます。クローラーは、大文字と小文字
を区別せず、自分のトークンを指定したグループを探して従います。複数の
グループが自分を指定していれば、その規則を一つに統合します。自分向け
のグループがないクローラーだけが`*`グループを使い、どちらもなければ
従う規則はありません。

グループ内の規則は、そのパスがアドレスの先頭と一致すると適用され、最
も具体的な一致、つまりオクテット数が最も多いものが優先されます。
`allow`と`disallow`が同じ長さで競合すれば`allow`が優先され、どの規則
にも一致しないアドレスは許可されます。パスの照合範囲を拡張する文字が
二つあり、`*`は任意の文字の並びを表し、`$`はアドレスの末尾を指定しま
す。`#`はコメントの開始を表し、このファイル自身のパスは常に許可され
ます。

RFCは、ファイルの取得方法も定めています。サービスの最上位にある、小
文字のそのパスに置くため、各ホストが自分のファイルで応答し、あるサブ
ドメインのファイルは、別のサブドメインには何も指示しません。形式は
UTF-8のプレーンテキストです。クローラーは、少なくとも5回まではリダイ
レクトをたどるべきで、キャッシュしたコピーを24時間を超えて使うべきで
はありません。また、解析する量に上限を設けられますが、500
KiB未満にはできません。

プロトコルに含まれない行も許容されます。RFCは「その他のレコード」と
呼び、`Sitemap`を例に挙げ、クローラーが解釈するかどうかを任意として
います。ただし、その行をグループの終わりとして扱ってはならないという
条件があります。

なぜ重要なのか

RFCは導入部で、「これらの規則は、アクセスを認可する仕組みではありま
せん」と限界を示しています。ファイルは要望にすぎません。尊重するク
ローラーは立ち入りませんが、無視するクローラーは、サーバーが渡すもの
を読みます。セキュリティーの節は、ファイルにパスを記すと、それが公開
され、見つけられるようになるとも説明しています。そのため、非公開にす
べきものには、HTTP認証などの実際の制御が必要です。

Googleの文書は、目的をさらに限定しています。「主に、リクエストによっ
てサイトに過負荷がかかるのを防ぐために使う」もので、「ウェブページを
Googleの検索結果から除外する仕組みではない」と説明しています。巡回を
許可しないアドレスも、ほかのページからリンクされればインデックスに入
り得ます。その場合、クローラーはページを読んでいないため、説明なしで
検索結果に出ます。Googleは、結果から除外するには`noindex`の規則かパ
スワードを使うよう案内しています。ただし、`noindex`は、クローラーが
取得できるページでしか機能しません。

このファイルは、本来の用途では力を発揮します。重要でないページやほぼ
同じ内容のページなど、サーバーへのリクエストは増やしても、検索エンジ
ンにはほとんど役立たない部分へ、クローラーが進まないようにします。影
響の広さは危険にもつながります。`*`の下の一行は、ファイルを尊重する
すべてのクローラーと、すべてのアドレスに適用され、変更が伝わるまで一
日かかることもあります。そのため、誤ったグループに`Disallow:
/`を入れると、サイト全体を閉じてしまいます。

実際の活用例

このサイトのファイルは長く、ほぼすべてがコメントです。クローラーが動
作の根拠にするのは、次の4行です。

```text
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /

Sitemap: https://engineer.company/sitemap.xml
```

一つのグループですべてのクローラーを扱い、`Allow:
/`がすべてのアドレスに一致します。どの規則にも一致しないアドレスは許
可されるため、規則のないグループでも結果は同じです。それでも明記する
のは、開放する方針を選んでいるからです。直前のコメントは、方針を「受
け継いだのではなく、決めたもの」と表現し、AIエージェントがサイトに求
めるものを扱うページも、巡回方針を、このサイトが意図的に下した判断の
一つと説明しています。

`Content-Signal`は、RFC 9309が定義するレコードではありません。
Content
Signalsの語彙に由来し、ここでは、検索、推論時の質問への回答、学習の
ための収集に同意しています。RFC上は「その他のレコード」の一つです。
慣例を知るクローラーは解釈してよく、それより古いクローラーは、ファイ
ル自身のコメントにあるとおり、その行を読み飛ばします。どちらも、その
行をグループの終わりと見なしてはなりません。`Sitemap:`行も同種のレ
コードで、サイトのサイトマップインデックスを指します。クレジットの
ページも、ファイルは「検索クローラーもAIシステムも含め、すべてを許可
する」と同じようにまとめ、サイトマップも挙げています。

何を記さないかも、意図的に決めています。AI対応のページは、このサイト
が採用しなかった五つの推奨事項の中に、エージェントごとの規則を挙げて
います。「あるクローラー向けに書いた規則は、そのクローラーにとって、
気付かれないまま共通の規則を置き換える」ため、一つのrobots規則をすべ
てのエージェントに使います。一つのAIクローラーに専用グループを用意し
ていたら、そのクローラーはそのグループだけを読み、後から加えた
`Disallow`が`*`の下にあっても、そのクローラーには決して届きません。

残りは、ファイルを開いた人のためのコメントです。方針の理由に続いて、
`llms.txt`、`agents.txt`、`humans.txt`、`security.txt`などの機械可読
ファイルのアドレスを記しています。「robots.txtには、それらのための
フィールドがない」ため、コメントにしています。そのため、コメントも公
開される内容の一部です。テンプレートの`#`行は、そのままのバイト列で
すべてのクローラーに配信されます。そこに二度、非公開リポジトリーの計
画文書を指す、保守担当者向けのメモが入っていました。現在は、生成済み
サイトの検査が、配信するファイルにリポジトリー内へのパスがあると失敗
します。また、テンプレートの保守メモは、サイト生成時に除去されるテン
プレートコメントに置きます。

問題が起きるところ

全員向けの規則が、一つのクローラーには適用されなくなる。
一つのフォルダーに入らせないためなどに、単一のボット用グループを追加
すると、その時からそのボットは、`*`の下にあるすべての`Disallow`を含
む、すべての規則を無視します。RFC
9309は、自分を指定するグループがないときに限り、`*`グループを使うよ
う定めています。Googleの文書も、個別のグループと`*`グループは「結合
しない」と説明しています。名前付きグループごとに共通規則をすべて繰り
返すか、このサイトのようにグループを一つにします。

巡回を拒否したページが検索結果に残る。
アドレスが説明なしで表示され、リンク元のサイトが使った言葉を伴う場合
もあります。Googleはページを取得していないため、アドレスが存在するこ
とと、ほかのサイトが何と呼ぶかしか知りません。`Disallow`は巡回を制御
するもので、インデックスへの登録は制御しません。規則を外してページに
`noindex`を付けるか、パスワードで保護します。`noindex`を`Disallow`の
奥に隠しても、決して読まれません。

隠したかったものを、ファイルが宣伝する。 `Disallow:
/admin/`のような行は、礼儀正しいクローラーかどうかに関係なく、誰にで
も見る場所を正確に伝えます。ファイルは設計上、公開されます。RFCのセ
キュリティーの節も、パスを記すと見つけられるようになるとして、代わり
にアクセス制御を求めています。非公開の資料は認証で保護し、このファイ
ルにはまったく記さないようにします。

サーバーエラーで、サイト全体の巡回が止まる。
ページは開けても、`/robots.txt`へのリクエストが5xxを返すかタイムアウ
トすると、RFCに従うクローラーは、全面的な拒否として扱わなければなり
ません。Googleは最初の12時間、巡回を停止し、その後は最後に正常に取得
できたコピーを最大30日間使います。逆の誤りは、目立ちません。Googleは
4xxの応答を、429を除き、401や403も含め、ファイルが存在しないものとし
て扱い、すべてのアドレスが開放されます。ファイルを静的なテキストとし
て200で配信し、ホームページだけでなく、`/robots.txt`自体を監視しま
す。

参考資料

  * RFC 9309：Robots Exclusion Protocol —
グループ、照合、エラー処理、キャッシュ、セキュリティーの注記を定める
標準そのものです。

  * robots.txtの概要 — Googleによるファイルの目的と、ページを検索結
果から隠せない理由です。

  * Googleによるrobots.txt仕様の解釈 —
ステータスコード、キャッシュ、Googleが無視するフィールド、グループの
選び方を説明します。

  * noindexで検索インデックスへの登録をブロックする —
ページを検索結果から除外する規則と、それがページを巡回できなければ機
能しない理由です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/robots-txt/	engineer.company	70
