¿Qué es Googlebot?

Los dos tipos se distinguen por el user agent de la petición HTTP, pero en el robots.txt obedecen al mismo token, «Googlebot». Por eso no se puede dar una regla solo para el rastreador móvil o solo para el de escritorio. Como Google indexa sobre todo la versión móvil de la mayoría de los sitios, la mayor parte de las peticiones llega con Googlebot Smartphone. La indexación mobile-first tiene su propia entrada en este glosario.

Google divide sus rastreadores y fetchers en tres grupos: - Rastreadores comunes, como Googlebot. En los rastreos automáticos respetan siempre el robots.txt. Al mismo grupo pertenecen Googlebot-Image, Googlebot-Video, Storebot-Google para Google Shopping y Google-InspectionTool, que usan herramientas de prueba como la prueba de resultados enriquecidos y la inspección de URL de Search Console. Googlebot-News solo existe como token de robots.txt y rastrea con los user agents de Googlebot. - Rastreadores para casos especiales, como AdsBot, con el que Google Ads comprueba la calidad de los anuncios en las páginas. Funcionan con un acuerdo entre el sitio y el producto de Google y pueden no seguir el robots.txt. AdsBot, por ejemplo, ignora las reglas para el user agent global (*). - Fetchers activados por el usuario, como Google Site Verifier. Como la petición la pide una persona, ignoran el robots.txt.

Google-Extended tampoco es un rastreador propio: es un token del robots.txt con el que un sitio decide si el contenido que Google rastrea puede usarse para entrenar modelos Gemini. Tiene su propia entrada en este glosario.

Googlebot descubre URL nuevas sobre todo a través de enlaces en páginas que ya ha rastreado. Según Google, en la mayoría de los sitios no debería acceder más de una vez cada pocos segundos de media. Para Google Search descarga los primeros 2 MB de cada tipo de archivo compatible y los primeros 64 MB de un PDF, medidos sin comprimir. Cada recurso que la página necesita para renderizarse, como CSS o JavaScript, se descarga por separado con el mismo límite. Lo que queda por encima no se tiene en cuenta para la indexación.

Los rastreadores de Google salen sobre todo de direcciones IP de Estados Unidos y usan por defecto HTTP/1.1. Pueden rastrear por HTTP/2, lo que ahorra recursos, pero Google dice que no da ninguna ventaja en el posicionamiento.

El user agent se puede falsificar, y muchos rastreadores se hacen pasar por Googlebot. Google describe dos formas de comprobar que una visita es auténtica: - DNS inversa: se busca el nombre de la IP que hizo la petición, se comprueba que termina en googlebot.com, google.com o googleusercontent.com y se resuelve ese nombre para confirmar que devuelve la misma IP. En los rastreadores comunes, el nombre sigue el patrón crawl-…googlebot.com o geo-crawl-…geo.googlebot.com. - Rangos de IP: se compara la IP con las listas en formato JSON que publica Google. La de los rastreadores comunes es common-crawlers.json. La dirección antigua, googlebot.json, redirige a ella (comprobado el 17.10.2026).

Para comprobaciones sueltas basta la DNS inversa. Para muchas IP, Google recomienda la comparación automática con las listas. El rastreo en general y su análisis tienen su propia entrada en este glosario.

Bloquear Googlebot afecta a Google Search, incluido Discover, y a otros productos como Google Imágenes, el modo Vídeo y Google News. Un bloqueo en el robots.txt impide el rastreo, pero no la indexación: la URL puede seguir apareciendo en los resultados. Para que una página no se indexe, Google indica noindex. Para que nadie acceda, ni rastreadores ni usuarios, otra medida como una contraseña.

Si Googlebot sobrecarga el servidor, Google recomienda devolver durante poco tiempo, unas horas o uno o dos días, un código 500, 503 o 429 en lugar de 200. El rastreo baja entonces en todo el nombre de host. Si los errores duran varios días en la misma URL, Google puede retirarla del índice.

Antes de bloquear un supuesto Googlebot conviene comprobarlo. Google advierte que su user agent se falsifica a menudo, y bloquear las IP auténticas por error deja al sitio fuera del rastreo.

• Comprobar con DNS inversa o con common-crawlers.json cualquier visita que diga ser Googlebot antes de bloquearla o de sacar conclusiones de los logs.
• Dar a la versión móvil el mismo contenido que a la de escritorio, porque la mayoría de las peticiones llegan con Googlebot Smartphone.
• Mantener el HTML y cada recurso necesario por debajo de 2 MB sin comprimir, porque Googlebot no tiene en cuenta lo que queda por encima.
• Usar noindex, y no el robots.txt, cuando una página no debe aparecer en Google.
• Enviar ETag en las respuestas: Google lo recomienda frente a Last-Modified para el caché HTTP de sus rastreadores.

• Fiarse del user agent: cualquiera puede escribir «Googlebot» en una petición.
• Intentar separar en el robots.txt Googlebot Smartphone y Googlebot Desktop, cuando los dos obedecen al mismo token.
• Bloquear una página en el robots.txt para sacarla de los resultados.
• Devolver 503 durante días para frenar el rastreo, con el riesgo de que Google retire las URL.
• Suponer que todos los rastreadores de Google siguen el robots.txt igual: los de casos especiales pueden no hacerlo y los fetchers activados por usuarios no lo hacen.