¿Qué es un Crawler o Rastreador Web?

Un crawler, también llamado rastreador web, araña web o bot de indexación, es un programa que visita páginas de internet de forma automática y sistemática. Empieza con una lista de URLs conocidas, la llamada lista semilla, entra en cada una, lee el contenido y detecta los enlaces que contiene. A partir de ahí sigue esos enlaces hacia páginas nuevas, y repite el proceso sin intervención humana.

El término se usa a veces como sinónimo de "bot", pero no todos los bots son crawlers. Un crawler explora y descubre contenido de forma amplia, mientras que un scraper extrae datos concretos de una página ya conocida para reutilizarlos en otro sitio. Google usa "rastreador" como término oficial en Search Console y en su documentación para desarrolladores.

Un crawler recorre, en teoría, toda la World Wide Web, aunque en la práctica cada operador decide cuánta parte visita y con qué frecuencia. De esa exploración depende que un sitio llegue a aparecer en un buscador o sea citado por un sistema de inteligencia artificial, y por eso el crawler es uno de los primeros conceptos de cualquier SEO Técnico.

No todos los crawlers persiguen el mismo objetivo. Unos indexan contenido para un buscador clásico, otros lo usan para entrenar modelos de IA, y otros lo rastrean para poder citarlo en una respuesta generada al momento. La tabla resume los cinco más habituales y para qué sirve cada uno.

La confusión más frecuente es tratar a todos los crawlers de IA por igual. GPTBot y Google-Extended sirven para entrenar modelos, y bloquearlos no saca a un sitio de ningún buscador. PerplexityBot es distinto: alimenta directamente el producto de búsqueda de Perplexity, así que bloquearlo sí puede sacar un sitio de sus respuestas.

El proceso empieza con una lista semilla de URLs, obtenida de sitemaps, enlaces externos o rastreos anteriores. El crawler visita cada URL, descarga el HTML y, si lo soporta, ejecuta el JavaScript de la página antes de leer el resultado. Googlebot renderiza JavaScript de forma habitual desde hace años, pero crawlers más simples o antiguos solo leen el HTML inicial, así que un sitio que depende por completo de JavaScript para mostrar su contenido puede quedar invisible para ellos.

Antes de pedir una página, un crawler respetuoso consulta el archivo robots.txt del dominio y respeta las reglas Disallow y las directivas por user-agent que encuentre ahí, además de cualquier crawl-delay indicado. No todos los crawlers cumplen esas reglas al pie de la letra: distintos rastreadores interpretan su sintaxis de forma distinta, según reconoce la propia documentación de Google.

User-agent: *
Disallow: /admin/
Disallow: /*?sort=
Allow: /wp-content/uploads/

Sitemap: https://zds.es/sitemap.xml

Cada enlace que el crawler encuentra en una página es una pista sobre qué visitar después, y también una señal para calcular el PageRank de la página de destino, salvo que el enlace lleve el atributo nofollow en vez de dofollow. Además del HTML, un crawler moderno puede leer los datos estructurados de la página para entender mejor de qué trata. Las páginas que consigue leer con éxito se envían a la fase de indexación; las que devuelven un error 400 o un error 500 se descartan por ahora, y las que ya no existen y devuelven un error 404 acaban saliendo del índice.

Google reserva a cada dominio un presupuesto de rastreo o crawl budget: una cantidad limitada de peticiones que está dispuesto a hacerle en un periodo dado, según la calidad de las páginas, el rendimiento del servidor y la popularidad del sitio. En una web pequeña ese límite casi nunca se nota. En una web con decenas de miles de URLs, sobre todo si genera muchas variantes por filtros o parámetros, gastar ese presupuesto en páginas irrelevantes deja menos margen para las páginas que sí importan.

De ahí depende buena parte de la búsqueda orgánica: una página que el crawler no visita no puede indexarse, y una página que no está indexada no puede aparecer en ningún resultado. Con los crawlers de IA pasa algo parecido, aunque con matices: bloquear el que alimenta un producto de respuestas corta la visibilidad ahí mismo, mientras que bloquear uno de entrenamiento solo afecta a futuros modelos, no a la posición actual en ningún buscador.

Decidir qué crawlers entran y cuáles no es, en el fondo, una decisión de negocio tanto como técnica.

• Mantener el archivo robots.txt actualizado y probarlo tras cada cambio grande de estructura, para no bloquear por error secciones enteras del sitio.
• Publicar un sitemap.xml actualizado, para que el crawler descubra páginas nuevas sin depender solo de encontrarlas por enlaces.
• Evitar cadenas largas de redirecciones internas, porque cada salto adicional gasta parte del presupuesto de rastreo sin aportar contenido nuevo.
• Comprobar que los recursos CSS y JavaScript necesarios para renderizar la página no queden bloqueados por error en robots.txt.
• Revisar los logs del servidor para ver qué crawlers visitan realmente el sitio, en lugar de asumirlo solo por lo que dice robots.txt.
• Decidir de forma consciente, no por defecto, si se permite el acceso a crawlers de entrenamiento de IA como GPTBot.

• Creer que bloquear una URL en robots.txt la saca de Google: puede seguir apareciendo en resultados, sin descripción, si otro sitio enlaza a ella.
• Bloquear sin darse cuenta los archivos CSS o JavaScript que el crawler necesita para renderizar la página correctamente.
• Tratar a todos los crawlers de IA como si fueran lo mismo, cuando unos entrenan modelos y otros alimentan un producto de respuestas en vivo.
• Confundir un crawler con un scraper: dos programas con propósitos distintos, aunque ambos accedan a las mismas páginas.
• Ignorar el presupuesto de rastreo en sitios grandes con miles de URLs generadas por filtros, dejando páginas importantes sin visitar.