{"canonical_url":"https://engineer.company/uk/glossary/robots-txt/","content_markdown":"# robots.txt\n\n## Що це таке\n\nБудь-який хост у мережі може опублікувати за фіксованим шляхом `/robots.txt`\nпростий текстовий файл із проханнями до програм, які його обходять. Мартейн\nКостер описав цю домовленість у 1994 році, а у вересні 2022 року IETF\nопублікувала її як RFC 9309, Robots Exclusion Protocol, з точним формулюванням\nправил та інструкціями щодо помилок і кешування.\n\nФайл — це перелік груп. Група починається з одного чи кількох рядків\n`user-agent`, кожен із яких називає краулер за його токеном продукту, наприклад\n`ExampleBot`, або `*` для всіх краулерів. Під ними йдуть рядки `allow` і\n`disallow`, кожен зі шляхом. Краулер шукає групу, що називає його власний токен,\nбез огляду на регістр літер, і виконує саме її; якщо його називають кілька груп,\nїхні правила зливаються в одну. Лише краулер без власної групи переходить до\nгрупи `*`, а якщо немає ні тієї, ні іншої, правил для нього немає.\n\nУсередині групи правило діє, коли його шлях збігається з початком адреси, і\nперемагає найконкретніший збіг, тобто той, що має найбільше октетів. Коли\n`allow` і `disallow` рівні, перемагає `allow`, а адреса поза всіма правилами\nдозволена. Два символи розширюють шлях: `*` означає будь-яку послідовність\nсимволів, а `$` закріплює кінець адреси. `#` починає коментар, а власний шлях\nфайлу дозволений завжди.\n\nRFC також визначає, як файл отримують. Він лежить саме за цим шляхом, написаним\nмалими літерами, на верхньому рівні сервісу, тож кожен хост відповідає сам за\nсебе, і файл на одному піддомені нічого не каже про інший. Це простий текст у\nUTF-8. Краулерові рекомендовано підтримувати ланцюжок щонайменше з п'яти\nпереспрямувань, не повинен користуватися кешованою копією довше за 24 години і може\nобмежити обсяг, який розбирає, але не нижче за 500 КіБ.\n\nРядки поза протоколом допускаються. RFC називає їх іншими записами, наводить як\nприклад `Sitemap` і дозволяє краулеру тлумачити їх чи ні за однієї умови: такий\nрядок ніколи не повинен завершувати групу.\n\n## Чому це важливо\n\nRFC прямо називає межу у вступі: правила не є формою контролю доступу. Файл — це\nпрохання. Краулер, який його поважає, тримається осторонь, а той, що не поважає,\nчитає все, що віддає сервер. Розділ про безпеку додає, що шлях, згаданий у\nфайлі, тим самим стає публічним і його легко знайти, тож усе, що має лишатися\nприватним, потребує справжнього захисту, наприклад HTTP-автентифікації.\n\nДокументація Google звужує призначення ще більше. За нею, файл використовують\nпередусім для того, щоб не перевантажувати сайт запитами, і він не є способом\nприбрати сторінку з Google. Заборонену адресу все одно можуть проіндексувати,\nякщо на неї посилаються інші сторінки, і тоді вона з'являється в результатах без\nопису, бо краулер так і не прочитав сторінку. Щоб тримати сторінку поза\nрезультатами, Google радить правило `noindex` або пароль, а правило `noindex`\nдіє лише на сторінці, яку краулерові дозволено завантажити.\n\nДобре файл робить ту роботу, для якої його створили: відводить краулери від\nчастин сайту, які коштують серверу запитів і мало дають пошуковій системі,\nнаприклад від неважливих чи майже однакових сторінок. Його охоплення — це\nводночас і його ризик. Один рядок під `*` діє на кожну адресу й кожен краулер,\nщо поважає файл, а зміна може набути чинності лише за добу, тож `Disallow: /`,\nвписаний не в ту групу, закриває весь сайт.\n\n## Як це виглядає на практиці\n\nФайл цього сайту довгий, і майже весь він складається з коментарів. Частина, на\nяку краулер реагує, — це чотири рядки:\n\n```text\nUser-agent: *\nContent-Signal: search=yes, ai-input=yes, ai-train=yes\nAllow: /\n\nSitemap: https://engineer.company/sitemap.xml\n```\n\nОдна група охоплює всі краулери, а `Allow: /` збігається з кожною адресою. Група\nзовсім без правил дозволила б те саме, адже адреса поза всіма правилами\nдозволена, але рядок записано явно, бо відкритість — це вибір. Коментар над ним\nназиває цю політику ухваленою, а не успадкованою, а\n[сторінка про готовність до ШІ-агентів](/uk/ai-ready/) описує політику\nсканування сайту як одне з його свідомих рішень.\n\n`Content-Signal` не належить до записів, які визначає RFC 9309. Він походить зі\nсловника Content Signals і тут дає згоду на збирання для пошуку, для відповіді\nна запитання в ту мить, коли його ставлять, і для навчання. За RFC це один з\nінших записів: краулер, що знає цю домовленість, може його прочитати, старіший\nкраулер пропускає рядок, як каже власний коментар файлу, і обидва мають вести\nгрупу далі після нього. Рядок `Sitemap:` — запис того самого роду, він вказує на\nіндекс карт сайту. [Сторінка подяк](/uk/credits/) підсумовує файл так само: він\nдозволяє все, «і пошуковим краулерам, і ШІ-системам однаково», і називає карту\nсайту.\n\nТе, чого у файлі немає, теж вирішено свідомо. Серед п'яти рекомендацій, від яких\nцей сайт відмовився, сторінка про готовність до ШІ-агентів називає окремі\nправила для кожного агента і лишає одне правило robots для всіх, «бо правило,\nнаписане для одного краулера, мовчки замінює для нього загальне». Якби файл дав\nодному ШІ-краулеру власну групу, той читав би лише її, і `Disallow`, доданий\nзгодом під `*`, ніколи б до нього не дійшов.\n\nРешта — коментарі для того, хто відкриє файл: обґрунтування політики, а далі\nадреси `llms.txt`, `agents.txt`, `humans.txt`, `security.txt` та інших\nмашиночитних файлів, записані коментарями, бо robots.txt не має для них поля.\nЧерез це коментарі стають частиною того, що публікується. Рядок із `#` у шаблоні\nвіддається кожному краулеру байт у байт, і двічі такий рядок ніс нотатку для\nсупровідника, що вказувала на плановий документ у непублічному репозиторії.\nТепер перевірка зібраного сайту падає, коли опублікований файл містить шлях\nусередину репозиторію, а нотатки для супровідників у шаблоні стоять у коментарях\nшаблону, які генератор вилучає.\n\n## Де виникають проблеми\n\n**Правило для всіх перестає діяти для одного краулера.** Хтось додає групу для\nокремого бота, скажімо, щоб не пускати його в одну теку, і відтоді цей бот\nігнорує все під `*`, включно з кожним `Disallow`, що там стоїть. RFC 9309\nвідсилає краулер до групи `*` лише тоді, коли для нього немає власної групи, а\nдокументація Google каже, що специфічні групи й група `*` не поєднуються.\nПовторіть кожне загальне правило в кожній іменованій групі або тримайтеся однієї\nгрупи, як цей сайт.\n\n**Заблокована сторінка все одно з'являється в результатах пошуку.** Адреса\nпоказується без опису, можливо, зі словами, якими інші сайти підписали посилання\nна неї. Google так і не завантажив сторінку, тож знає лише, що адреса існує і як\nїї називають інші. `Disallow` керує скануванням, а не індексуванням. Приберіть\nправило й віддавайте `noindex` на самій сторінці або закрийте сторінку паролем;\n`noindex`, схований за `Disallow`, ніхто ніколи не прочитає.\n\n**Файл рекламує те, що мав приховати.** Рядок на кшталт `Disallow: /admin/`\nпідказує кожному читачеві, чемному краулеру чи ні, де саме шукати, а файл\nпублічний за своєю природою. Розділ RFC про безпеку каже, що шляхи у файлі стає\nлегко знайти, і вимагає натомість контролю доступу. Тримайте приватне за\nавтентифікацією і взагалі не згадуйте його у файлі.\n\n**Помилка сервера зупиняє сканування всього сайту.** Сторінки відкриваються, але\nзапит до `/robots.txt` повертає статус 5xx або перевищує час очікування, і\nкраулер, що дотримується RFC, має вважати це повною забороною. Google припиняє\nсканування на перші 12 годин, а потім до 30 днів працює з останньою вдалою\nкопією. Протилежна помилка тихіша: будь-яку відповідь 4xx, крім 429, зокрема 401\nі 403, Google вважає відсутністю файлу, тож кожна адреса відкрита. Віддавайте\nфайл як статичний текст зі статусом 200 і стежте за самим `/robots.txt`, а не\nлише за головною сторінкою.\n\n## Що почитати далі\n\n- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)\n  — сам стандарт: групи, зіставлення, обробка помилок, кешування й розділ про\n  безпеку.\n- [Introduction to robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro)\n  — для чого, за словами Google, потрібен файл і чому він не ховає сторінку з\n  результатів.\n- [How Google interprets the robots.txt specification](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec)\n  — коди статусу, кешування, поля, які Google ігнорує, і як він обирає групу.\n- [Block Search indexing with noindex](https://developers.google.com/search/docs/crawling-indexing/block-indexing)\n  — правило, яке справді тримає сторінку поза результатами, і чому сторінка має\n  бути доступна для сканування.\n\n\u003chttps://engineer.company/uk/glossary/robots-txt/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Як краулери читають файл robots.txt правило за правилом, чого він не може прибрати з пошуку і чому код статусу може важити більше за правила.","formats":{"gemtext":"https://engineer.company/uk/glossary/robots-txt/index.gmi","gopher":"https://engineer.company/uk/glossary/robots-txt/gophermap","html":"https://engineer.company/uk/glossary/robots-txt/","json":"https://engineer.company/uk/glossary/robots-txt/index.json","markdown":"https://engineer.company/uk/glossary/robots-txt/index.md","pdf":"https://engineer.company/uk/glossary/robots-txt/index.pdf"},"kind":"page","language":"uk","title":"Що таке robots.txt?","url":"https://engineer.company/uk/glossary/robots-txt/","version":1}