¿Qué es el crawling? El proceso con el que los buscadores rastrean tu web

Un rastreo empieza antes de que el bot toque tu servidor. Googlebot construye primero una lista de URLs candidatas a partir de tres fuentes: los enlaces que encuentra en páginas ya rastreadas, las direcciones que declaras en tu sitemap XML y el historial de URLs que ya conocía de visitas anteriores. Esa lista entra en una cola de rastreo, y el orden en el que se procesa depende de cuánto presupuesto de rastreo tiene asignado tu dominio y de la prioridad estimada de cada URL.

Para un dominio completamente nuevo, ese proceso arranca de un modo distinto: Google no tiene ninguna URL previa que rastrear, así que necesita un primer punto de entrada. Ese punto suele ser un enlace externo desde una página que Google ya visita, un sitemap enviado manualmente en Search Console o una solicitud de rastreo puntual a través de la herramienta de inspección de URLs. Sin ninguna de las tres cosas, un dominio puede quedar completamente fuera del radar del rastreador durante mucho tiempo.

Cuando le toca el turno a una dirección, el rastreador hace una petición HTTP y descarga el HTML de la página. Si esa página depende de JavaScript para mostrar su contenido principal, ese HTML inicial casi nunca basta: Google la marca para una segunda pasada, en la que un Chromium sin interfaz, el servicio de renderizado web, ejecuta el código y genera el DOM final, tal como lo vería un navegador. Esta segunda pasada llega más tarde, a veces días después de la primera. Una web con mucho contenido inyectado por JavaScript puede tardar más en verse completa a ojos de Google.

Cada página rastreada aporta enlaces nuevos, que vuelven a entrar en la cola como candidatos, y el ciclo se repite. Una URL no desaparece de la lista después de su primera visita: pasa a un calendario de revisitas que decide cuándo Google vuelve a comprobarla.

Es fácil mezclar los dos términos porque comparten raíz, pero no describen lo mismo. El crawler es el programa: un bot como Googlebot o Bingbot, con su propio user-agent, sus reglas de comportamiento y su forma de interpretar el robots.txt. El crawling es lo que ese programa hace: el proceso de descubrir, visitar y volver a visitar páginas a lo largo del tiempo.

La distinción importa porque las preguntas que responde cada uno son distintas. «¿Qué bots visitan mi web y cómo se identifican?» es una pregunta sobre el crawler. «¿Con qué frecuencia vuelve Google a esta sección, y por qué tarda tanto en encontrar mis páginas nuevas?» es una pregunta sobre el crawling. Si buscas un repaso de los rastreadores más activos en 2026 y cómo funcionan por dentro, esa información está en el artículo dedicado al crawler. Aquí nos quedamos con el proceso.

Esa diferencia también condiciona la solución. Si el objetivo es que Google vuelva con más frecuencia a una sección, el trabajo está en el enlazado interno y en el contenido fresco, no en ajustar el comportamiento del bot. Si el problema es bloquear un bot agresivo y desconocido que solo se hace pasar por un crawler, la respuesta está en el artículo del crawler: qué user-agent utiliza realmente y cómo bloquearlo de forma fiable por robots.txt o por IP.

Google no visita todas las páginas de un dominio con la misma frecuencia, ni con un calendario fijo. La decisión de cuándo volver combina dos factores: la importancia percibida de la URL (cuántos enlaces internos y externos recibe, cuánto tráfico genera, si figura en el sitemap) y la frecuencia con la que ha cambiado en el pasado. Una portada de noticias que se actualiza cada hora puede recibir varias visitas al día. Una página de política de privacidad que lleva dos años igual puede pasar semanas sin una sola.

El comercio electrónico ilustra bien esta diferencia. La ficha de un producto con stock y precio que cambian a diario suele recibir visitas frecuentes, porque Google ha aprendido que ahí hay algo que revisar. Una página «Sobre nosotros» que no se ha tocado en tres años cae al otro extremo: Google la conoce, la tiene indexada, pero no le dedica revisitas frecuentes porque la experiencia le dice que no va a cambiar.

Las páginas de campañas estacionales siguen el mismo patrón, pero en sentido inverso. Una página de campaña activa solo dos semanas al año pierde frecuencia de visita fuera de temporada, porque Google encuentra pocos cambios en ese periodo. No es un fallo del sistema, sino la consecuencia lógica de la misma regla: la importancia y la frecuencia de cambio se reevalúan continuamente, no se fijan una sola vez.

Esto tiene una consecuencia práctica. Publicar contenido nuevo con regularidad en una sección le enseña a Google que esa sección cambia, y con el tiempo puede aumentar la frecuencia con la que vuelve. Lo contrario también es cierto: una sección con URLs que nunca cambian, o que devuelven errores con frecuencia, recibe menos visitas porque Google aprende que revisarla no suele traer nada nuevo.

El propio servidor influye en esta decisión. Si Google detecta tiempos de respuesta altos o errores 5xx repetidos, reduce el ritmo de las peticiones para no saturar el sitio, algo que documenta directamente en su guía sobre el presupuesto de rastreo.

La forma más directa de saber qué hace Google en tu web es mirar los logs del servidor. Cada petición de Googlebot deja una línea con la fecha, la URL solicitada, el código de estado devuelto y el user-agent. Filtrando esas líneas por user-agent y verificando la IP contra los rangos oficiales de Google, se ve exactamente qué se rastrea, con qué frecuencia y qué respuesta recibe cada URL, sin depender de lo que Google decide mostrar en sus propias herramientas.

Una línea de log típica de Googlebot tiene un aspecto parecido a este: la IP de origen, la fecha, el método y la URL solicitada, el código de estado y la cadena de user-agent, por ejemplo GET /categoría/producto 200 seguido de «Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)». El user-agent por sí solo no basta como prueba, cualquiera puede falsificarlo. La verificación fiable pasa por una resolución DNS inversa de la IP, comprobar que el dominio resuelto pertenece a googlebot.com o google.com y después una resolución directa de vuelta a la misma IP.

Search Console ofrece una vista más cómoda, aunque menos completa, en el informe de estadísticas de rastreo (Configuración > Estadísticas de rastreo). Ahí aparecen las peticiones totales de los últimos 90 días, desglosadas por código de respuesta, por tipo de archivo y por si la visita fue para descubrir una URL nueva o para actualizar una ya conocida. También separa las peticiones por tipo de Googlebot, así se puede distinguir el rastreo de escritorio del rastreo móvil o el de imágenes.

Ninguna de las dos fuentes sustituye a la otra. Los logs muestran el detalle línea por línea; el informe de Search Console da la tendencia y facilita detectar picos o caídas sin procesar miles de líneas a mano.

Una caída repentina de las peticiones en el informe de estadísticas de rastreo suele ser la primera señal visible de un problema técnico, antes incluso de que se note en el posicionamiento o en el tráfico. Un despliegue con errores, una regla mal configurada en el robots.txt o un servidor saturado suelen aparecer ahí antes que en las herramientas de analítica.

• Mantén el sitemap XML actualizado, con solo las URLs que quieres que se indexen.
• Revisa el robots.txt de forma periódica, para no bloquear secciones por error.
• Enlaza internamente las páginas nuevas: es la vía más rápida para que Google las encuentre.
• Vigila el tiempo de respuesta del servidor. Una web lenta recibe menos visitas de rastreo.
• Corrige cadenas de redirecciones y enlaces rotos: cada salto consume presupuesto de rastreo.
• Revisa el informe de estadísticas de rastreo de Search Console al menos una vez al mes.

• Confundir «está en el sitemap» con «está rastreada»: el sitemap es una sugerencia, no una orden.
• Bloquear en robots.txt páginas que además deberían llevar noindex: si el rastreo está bloqueado, Google nunca llega a ver esa etiqueta.
• Esperar que una página nueva se rastree el mismo día de publicarla. Sin enlaces internos que apunten a ella, puede tardar semanas.
• Pensar que más rastreo siempre es mejor: el presupuesto gastado en URLs con parámetros duplicados resta atención a las páginas que importan.
• Tomar el número de «páginas rastreadas» del informe de Search Console como sinónimo de «páginas indexadas»: son datos distintos.