{"canonical_url":"https://engineer.company/uk/glossary/crawler/","content_markdown":"# Краулер\n\n## Що це таке\n\nСпільного переліку сторінок мережі не існує, тож пошукова система мусить шукати\nїх сама, і програма, яку вона для цього посилає, — це краулер. Він починає з\nадрес, які вже знає, завантажує кожну через HTTP, читає посилання у відповіді й\nдодає нові адреси до свого списку. Посібник Google про те, як працює пошук,\nнаводить інші назви, що трапляються, — робот, бот, павук, а RFC 9309, стандарт\nrobots.txt, описує краулери як автоматичних клієнтів, за допомогою яких пошукові\nсистеми рекурсивно проходять посиланнями для індексації.\n\nПосилання — головний шлях усередину. За словами Google, Googlebot знаходить нові\nадреси передусім через посилання на сторінках, які вже просканував, і посібник\nнаводить звичний приклад: сторінка категорії посилається на новий допис. Карта\nсайту — другий шлях, перелік, який власник сайту передає напряму. Сторінка без\nтого й іншого не дає краулеру способу дізнатися, що вона існує.\n\nЗавантаження — перший із трьох етапів, які описує Google. Сканування завантажує\nтекст, зображення й відео сторінки; індексація аналізує завантажене й зберігає\nйого; показ відповідає на запит із цього індексу. Під час сканування Google\nтакож рендерить сторінку й виконує її JavaScript у свіжій версії Chrome, бо без\nцього кроку може не побачити частину вмісту. Нічого з цього не обіцяно: Google\nне гарантує, що просканує, проіндексує чи покаже сторінку, і не бере плати за\nте, щоб сканувати сайт частіше.\n\nКраулер також має сказати, хто він. RFC 9309 дозволяє кожному краулеру обрати\nвласне ім'я, токен продукту, що складається лише з літер, підкреслень і дефісів,\nі каже, що токен слід вказувати в ідентифікаційному рядку, який надсилає\nкраулер, — через HTTP це заголовок User-Agent, — а сам рядок має описувати\nпризначення краулера. Приклад заголовка в RFC містить `ExampleBot/0.1` і\nпосилання на сторінку про краулер, а відповідний рядок у robots.txt виглядає як\n`user-agent: ExampleBot`. Ім'я — це твердження, а не доказ, бо надіслати його\nможе будь-яка програма.\n\nНе кожен автоматичний запит від Google — це сканування. Огляд Google ділить\nклієнтів на три види: звичайні краулери на кшталт Googlebot, які завжди\nдотримуються robots.txt під час автоматичного сканування; спеціальні краулери,\nщо працюють за домовленістю між сайтом і продуктом Google і можуть дотримуватися\nцих правил, а можуть і ні; та завантажувачі на запит користувача, які зазвичай\nроблять один запит, бо про це попросила людина, і ігнорують robots.txt.\n\n## Чому це важливо\n\nКраулер сам вирішує, коли повернутися, і його манери визначають частину ціни за\nте, щоб вас знаходили. Google пише, що на більшості сайтів Googlebot у\nсередньому має звертатися не частіше ніж раз на кілька секунд і що його краулери\nвідступають, коли сайтові важко; за посібником про пошук, помилка HTTP 500\nозначає, що треба сповільнитися. Посібник Google про бюджет сканування описує\nвесь механізм, але написаний для сайтів приблизно з мільйоном сторінок, що\nзмінюються щотижня, або з десятьма тисячами, що змінюються щодня, і Google каже,\nщо сайту, сторінки якого сканують у день публікації, він не потрібен.\n\nКраулер також читає лише частину кожного файлу. Googlebot, що сканує для пошуку,\nбере перші 2 МБ файлу підтримуваного типу й перші 64 МБ PDF, рахуючи до\nстиснення, а решту ігнорує.\n\nСлабке місце — ім'я. Google попереджає, що заголовок User-Agent, який надсилає\nGooglebot, часто підробляють інші краулери, тож рядок журналу зі словом\nGooglebot сам по собі нічого не доводить. Google описує дві перевірки. Для\nоднієї адреси виконайте зворотний DNS-запит, переконайтеся, що ім'я хоста\nзакінчується на `googlebot.com`, `google.com` або `googleusercontent.com`, потім\nвиконайте прямий запит для цього імені й переконайтеся, що він повертає ту саму\nадресу. Приклад самого Google:\n\n```text\nhost 66.249.66.1\n1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.\nhost crawl-66-249-66-1.googlebot.com\ncrawl-66-249-66-1.googlebot.com has address 66.249.66.1\n```\n\nДля багатьох адрес одразу звіряйте кожну з діапазонами IP, які Google публікує\nяк файли JSON у нотації CIDR, по файлу на кожен вид клієнта. Обидві перевірки\nспираються на мережу, з якої прийшов запит, а її відправник не може просто\nвписати в заголовок.\n\n## Як це виглядає на практиці\n\n[Сторінка про приватність](/uk/privacy/) пояснює, як у журналі доступу цього\nсайту відрізняють краулери від інших відвідувачів. Кожен запис зберігає\nідентифікаційний рядок браузера, «за яким ми відрізняємо людей від пошукових\nроботів», і далі йде ще один крок: «Якщо робот називає себе, ми звіряємо розмиту\nадресу (див. нижче) з мережами, які оприлюднює його власник.» Це другий метод\nGoogle, і саме він годиться для того, що зберігає журнал: остання частина кожної\nIP-адреси замінюється нулями ще до запису на диск, тож повна адреса, потрібна\nдля зворотного запиту, не зберігається ніколи.\n\nЗведення розглядають краулери як окрему аудиторію: «те саме для всього\nавтоматизованого трафіку» поруч із тридцятьма днями для людей, щоденний\nпідрахунок — «стільки-то сторінок прочитано, стільки-то з них — роботами,\nстільки-то дійшли до сторінки контактів» — і місячний рейтинг того, «які роботи\nта автоматичні сканери заходили на сайт». Краулер, що чесно себе називає,\nрахується під своїм ім'ям, а відоме ім'я, надіслане з мережі, якої власник не\nоприлюднює, перевірку не проходить.\n\n[Сторінка про готовність до ШІ-агентів](/uk/ai-ready/) виходить із того самого\nчитача: «Агент починає там само, де краулер» — з файлу robots.txt, карти сайту і\nпошукових індексів. Її відповідь — зробити кожне з них свідомим вибором, аж до\nоголошення через IndexNow під час кожного розгортання, щоб пошуковики, які його\nпідтримують, дізнавалися про нову сторінку «в день публікації, а не під час\nнаступного обходу».\n\nДати — один зі способів, якими сайт говорить із краулером, і зрештою вони можуть\nне казати нічого корисного. Розповідь про [карту сайту, що дала 172 зі 176\nсторінок одну позначку\nчасу](/uk/portfolio/fixed-a-sitemap-with-one-shared-timestamp/) прямо\nназиває ставку: «дата зміни — це обіцянка пошуковому роботові, що вміст сторінки\nзмінився». Сайт, який дає таку обіцянку для всіх сторінок одночасно, продовжує\nвона, «або правдиво повідомляє про повне переписування, або не повідомляє нікому\nнічого корисного».\n\n## Де виникають проблеми\n\n**Запити, що називають себе Googlebot, надходять не від Google.** Журнал показує\nбагато трафіку під іменем Googlebot, і власник або пускає його, або блокує це\nім'я повністю. Оскільки інші краулери часто позичають це ім'я, обидві реакції\nризиковані: перша довіряє самозванцеві, а друга разом із ним відрізає справжній\nкраулер. Перевірте мережу, з якої прийшов запит, — зворотним і прямим\nDNS-запитом для однієї адреси або за опублікованими діапазонами Google для\nбагатьох — і вирішуйте на цій підставі, а не за іменем.\n\n**Опублікована сторінка ніколи не з'являється в скануванні.** На неї ніщо не\nпосилається, або до неї можна дістатися лише після входу. Без центрального\nреєстру краулер дізнається про адресу з посилань і карт сайту, а посібник Google\nназиває сторінки за входом серед тих, до яких його краулер дістатися не може.\nПоставте посилання на сторінку з місця, яке вже сканують, додайте її до карти\nсайту і тримайте все, що має бути в пошуку, поза входом.\n\n**Швидкість сканування падає після поганого періоду для сервера.** Щодня\nзавантажується менше сторінок, і зміни помічають пізніше. Повільні відповіді,\nпомилки 5xx і відповіді 429 знижують ліміт пропускної здатності сканування\nGoogle, який знову зростає, лише коли відповіді стають стабільними й швидкими, а\nвсі краулери Google на хості ділять те, що лишилося. Спершу виправте помилки й\nзатримки; сайтові з кількома тисячами сторінок не варто починати з посібника про\nбюджет сканування.\n\n**Сторінка, на яку ніхто не посилався, з'являється в запитах краулера.** Адресу\nніколи не публікували, можливо, це приватна чернетка, і все ж вона є в журналі\nдоступу. Google називає майже неможливим зберегти сайт у таємниці, просто не\nпублікуючи посилань на нього, бо перехід із цієї сторінки на інший сайт може\nзалишити її адресу в журналі переходів, який потім опублікують. Ховайте все\nприватне за захистом паролем — саме його Google називає способом не пускати ні\nкраулери, ні людей.\n\n## Що почитати далі\n\n- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309)\n  — погляд стандарту на краулери: токени продукту, рядок User-Agent і правила,\n  яких краулера просять дотримуватися.\n- [In-depth guide to how Google Search works](https://developers.google.com/search/docs/fundamentals/how-search-works)\n  — виявлення, сканування, рендеринг та індексація так, як їх описує Google.\n- [Overview of Google crawlers and fetchers (user agents)](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers)\n  — три види клієнтів Google, ліміт розміру файлу, протоколи й кешування.\n- [Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)\n  — DNS-запити й опубліковані діапазони IP із розібраними прикладами.\n- [Optimize your crawl budget](https://developers.google.com/crawling/docs/crawl-budget)\n  — як Google встановлює швидкість сканування і яким сайтам її варто\n  налаштовувати.\n- [Googlebot](https://developers.google.com/search/docs/crawling-indexing/googlebot)\n  — краулери для смартфонів і комп'ютерів, як часто Googlebot заходить на сайт,\n  ліміт розміру файлу і чому сторінка без посилань не є секретною.\n\n\u003chttps://engineer.company/uk/glossary/crawler/\u003e\n","date_modified":"2026-10-20T21:59:50Z","description":"Як краулер знаходить сторінки й дозує свої візити, як розпізнати підробку в журналі і чому сканування ще не означає індексацію.","formats":{"gemtext":"https://engineer.company/uk/glossary/crawler/index.gmi","gopher":"https://engineer.company/uk/glossary/crawler/gophermap","html":"https://engineer.company/uk/glossary/crawler/","json":"https://engineer.company/uk/glossary/crawler/index.json","markdown":"https://engineer.company/uk/glossary/crawler/index.md","pdf":"https://engineer.company/uk/glossary/crawler/index.pdf"},"kind":"page","language":"uk","title":"Що таке краулер?","url":"https://engineer.company/uk/glossary/crawler/","version":1}