rastreador web
descubrir páginas siguiendo enlaces y mapas del sitio
Qué es
No existe una lista maestra de las páginas de la web, así que un buscador tiene que salir a encontrarlas, y el programa que envía es un rastreador. Parte de direcciones que ya conoce, obtiene cada una por HTTP, lee los enlaces de la respuesta y añade las direcciones nuevas a su lista. La guía de Google sobre el funcionamiento de la Búsqueda recoge los otros nombres utilizados: «también conocido como crawler, robot, bot o spider». RFC 9309, el estándar de exclusión de robots, describe los rastreadores como clientes automatizados que los buscadores ejecutan «para recorrer enlaces de forma recursiva con fines de indexación».
Los enlaces son la principal vía de entrada. Google afirma que Googlebot encuentra direcciones nuevas «principalmente a partir de enlaces incluidos en páginas rastreadas anteriormente», y su guía ofrece el caso habitual de una página de categoría que enlaza una publicación nueva. Un mapa del sitio es la segunda vía: una lista que entrega directamente quien administra el sitio. Una página que no aparece en ninguna de las dos no ofrece al rastreador forma de saber que existe.
La obtención de páginas es la primera de las tres etapas que describe Google. El rastreo descarga el texto, las imágenes y los vídeos de una página; la indexación analiza lo descargado y lo almacena; la presentación de resultados responde a una búsqueda a partir de ese índice. Durante el rastreo, Google también renderiza la página y ejecuta su JavaScript en una versión reciente de Chrome, ya que sin ese paso «podría no ver ese contenido». Ninguna de las etapas está garantizada: Google «no garantiza que vaya a rastrear, indexar o mostrar su página» y «no acepta pagos para rastrear un sitio con más frecuencia».
También se espera que un rastreador diga quién es. RFC 9309 establece que cada uno elija su propio nombre, un identificador de producto formado únicamente por letras, guiones bajos y guiones, e indica que debería aparecer en la cadena de identificación que envía el rastreador, que por HTTP es la cabecera User-Agent, y que esa cadena debería describir su finalidad. La cabecera del ejemplo del RFC lleva ExampleBot/0.1 y un enlace a una página sobre el rastreador, y la línea correspondiente de robots.txt dice user-agent: ExampleBot. El nombre es una declaración, no una credencial, porque cualquier programa puede enviarlo.
No toda petición automatizada de Google es un rastreo. Su descripción general clasifica los clientes en tres tipos: rastreadores comunes, como Googlebot, que «siempre respetan las reglas de robots.txt en los rastreos automáticos»; rastreadores de casos especiales, que trabajan conforme a un acuerdo con el sitio y pueden seguir o no esas reglas; y agentes de obtención activados por usuarios, que suelen hacer una sola petición porque alguien la ha solicitado e ignoran robots.txt.
Por qué importa
Un rastreador decide por sí mismo cuándo volver, y su comportamiento determina parte del coste de que un sitio sea encontrado. Google dice que Googlebot «no debería acceder a su sitio más de una vez cada pocos segundos de media» en la mayoría de los sitios, y sus rastreadores reducen la actividad cuando un sitio tiene dificultades; en palabras de la guía de la Búsqueda, los errores HTTP 500 significan «reducir la velocidad». La guía de Google sobre el presupuesto de rastreo describe todo el mecanismo, pero está dirigida a sitios de aproximadamente un millón de páginas que cambian cada semana o diez mil que cambian a diario. Google indica que un sitio cuyas páginas se rastrean el día de su publicación no la necesita.
Un rastreador también limita cuánto lee de cada archivo. Al rastrear para la Búsqueda, Googlebot toma los primeros 2 MB de cualquier archivo de un tipo compatible y los primeros 64 MB de un PDF, medidos antes de la compresión, e ignora el resto.
El punto débil es el nombre. Google advierte que la cabecera User-Agent que envía Googlebot «suele ser falsificada por otros rastreadores», por lo que una línea del registro que diga Googlebot no demuestra nada por sí sola. Google documenta dos comprobaciones. Para una dirección, haga una consulta DNS inversa, confirme que el nombre de host termina en googlebot.com, google.com o googleusercontent.com y después resuelva ese nombre mediante una consulta directa para confirmar que devuelve la misma dirección. Este es el ejemplo de Google:
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1Para muchas direcciones a la vez, compare cada una con los rangos IP que Google publica como archivos JSON en notación CIDR, un archivo por tipo de cliente. Las dos comprobaciones se basan en la red de la que procede la petición, algo que el remitente no puede limitarse a escribir en una cabecera.
Cómo se aplica en la práctica
El servidor de este sitio conserva un registro de accesos, y la página de privacidad explica cómo se distinguen en él los rastreadores. Cada línea conserva el agente de usuario, «que es lo que permite separar a las personas de los rastreadores de los buscadores», y después se aplica un segundo paso: «Un rastreador que da un nombre se comprueba frente a las redes que publica su propietario, utilizando la dirección enmascarada que se describe a continuación». Es el segundo método de Google y encaja con lo que conserva el registro. La última parte de cada dirección IP se sustituye por ceros antes de que la línea llegue al disco, de modo que nunca se almacena la dirección completa que necesitaría una consulta inversa.
Los resúmenes tratan a los rastreadores como un público propio: «lo mismo para todo lo automatizado» junto a los treinta días que se conservan para las personas; un recuento diario de «tantas páginas leídas, tantas por rastreadores, tantas visitas a la página de contacto»; y una clasificación mensual de «qué rastreadores y escáneres automatizados han pasado». Un rastreador que se identifica con honestidad se cuenta con su propio nombre, y un nombre famoso enviado desde una red que su propietario no publica no supera la comprobación.
La página sobre la preparación para agentes de IA parte del mismo lector: «Un agente empieza donde lo hace un rastreador», en el archivo robots.txt, el mapa del sitio y los índices de búsqueda. Su respuesta consiste en definir cada uno deliberadamente, hasta el anuncio mediante IndexNow en cada despliegue, para que los buscadores participantes «se enteren de una página nueva el día en que se publica, en lugar de en su próxima visita».
Las fechas son una forma de hablar con los rastreadores, y pueden acabar sin decir nada útil. El caso de un mapa del sitio que asignaba la misma marca de tiempo a 172 de sus 176 páginas expone claramente lo que está en juego: «una fecha de modificación es una promesa a un rastreador de que el contenido de una página ha cambiado». Un sitio que hace esa promesa para todas sus páginas a la vez, continúa, «o dice la verdad sobre una reescritura completa o no le dice nada útil a nadie».
Dónde surgen los problemas
Las peticiones que se llaman Googlebot no proceden de Google. El registro muestra mucho tráfico con el nombre de Googlebot, y quien administra el sitio lo deja pasar como un invitado bienvenido o bloquea el nombre por completo. Como otros rastreadores suelen copiarlo, ninguna reacción es segura: la primera confía en un impostor y la segunda excluye también al rastreador auténtico. Compruebe la red de origen mediante DNS inverso y directo para una dirección o frente a los rangos publicados por Google para muchas, y decida en función de ello, no del nombre.
Una página publicada nunca aparece en un rastreo. No hay ningún enlace hacia ella o solo se puede acceder después de iniciar sesión. Sin un registro central, un rastreador conoce las direcciones a través de enlaces y mapas del sitio, y la guía de Google incluye las páginas tras un inicio de sesión entre las que su rastreador no puede alcanzar. Enlace la página desde algún lugar ya rastreado, inclúyala en el mapa del sitio y mantenga accesible sin iniciar sesión todo lo que deba aparecer en las búsquedas.
La frecuencia de rastreo baja después de una mala racha del servidor. Cada día se obtienen menos páginas y los cambios tardan más en detectarse. Las respuestas lentas, los errores 5xx y las respuestas 429 reducen el límite de capacidad de rastreo de Google, que solo vuelve a subir cuando las respuestas se estabilizan y son rápidas; todos los rastreadores de Google que visitan el host comparten la capacidad restante. Corrija primero los errores y la latencia; en un sitio de unos pocos miles de páginas, la guía de Google sobre el presupuesto de rastreo no es el punto de partida.
Una página sin enlaces entrantes aparece entre las peticiones de un rastreador. La dirección nunca se publicó, quizá porque era un borrador privado o una copia de prueba, y aun así aparece en el registro de accesos con el nombre de un rastreador. Google dice que es «casi imposible mantener un sitio en secreto solo por no publicar enlaces hacia él», ya que un clic desde esa página hacia otro sitio puede dejar su dirección en un registro de referencias que termine publicado. Proteja con contraseña todo lo privado, el método que Google señala para mantener fuera tanto a los rastreadores como a las personas.
Lecturas adicionales
- RFC 9309: Protocolo de exclusión de robots — los rastreadores según el estándar: identificadores de producto, cadena User-Agent y reglas que se les pide respetar.
- Guía detallada sobre el funcionamiento de la Búsqueda de Google — descubrimiento, rastreo, renderizado e indexación tal como los describe Google.
- Descripción general de los rastreadores y agentes de obtención de Google — los tres tipos de clientes de Google, el límite de tamaño de los archivos, los protocolos y la caché.
- Verificar peticiones de rastreadores y agentes de obtención de Google — las consultas DNS y los rangos IP publicados, con ejemplos desarrollados.
- Optimizar el presupuesto de rastreo — cómo fija Google la frecuencia de rastreo y qué sitios necesitan ajustarla.
- Googlebot — los rastreadores para teléfonos y ordenadores, la frecuencia de las visitas de Googlebot, su límite de tamaño de archivo y por qué una página sin enlaces entrantes no es secreta.