Indexación en Google: qué es, cómo funciona y en qué se diferencia de rastrear y posicionar

Para que una página compita por tráfico orgánico tiene que superar tres fases seguidas. Primero Google la descubre y la rastrea: Googlebot solicita el HTML, a menudo lo renderiza con una versión de Chromium para ejecutar el JavaScript y sigue los enlaces que encuentra. Esa fase se llama crawling y es condición previa e imprescindible para todo lo que viene después: si Googlebot no puede acceder a una URL, jamás llegará a la fase de indexación. En zds.es tratamos el crawling en detalle en el glosario de Crawl Budget, que conviene leer junto a este artículo porque ambos procesos están directamente enlazados.

Superado el rastreo llega la indexación propiamente dicha: Google analiza el contenido, los encabezados, los enlaces internos, los datos estructurados y decide si esa URL merece un hueco en su índice. No es una decisión automática. Google puede rastrear una página perfectamente y aun así no indexarla, por ejemplo si detecta que el contenido es prácticamente idéntico a otra URL de la misma web o de la competencia, si el texto aporta poco valor real, o si hay señales técnicas contradictorias, como un canonical que apunta a otra URL.

Solo cuando una página está indexada entra en la carrera del posicionamiento, la tercera fase, donde Google decide para qué búsquedas y en qué posición mostrarla. Aquí es donde muchos propietarios de webs se llevan una sorpresa: estar indexado no es sinónimo de tener visibilidad. Una página puede llevar meses en el índice de Google y no recibir ni una sola visita orgánica porque nunca aparece entre los primeros resultados de ninguna consulta relevante.

Este orden no se puede saltar. No existe forma de que una página posicione sin haber sido antes rastreada e indexada, ni ningún truco que fuerce la indexación sin que Googlebot haya podido visitar la página primero. Por eso, ante un problema de visibilidad, conviene comprobar primero hacia atrás: ¿está indexada la página? ¿ha sido siquiera rastreada? Solo cuando ambas respuestas son afirmativas tiene sentido hablar de un problema de posicionamiento propiamente dicho.

Es el error de interpretación más habitual en SEO técnico. Una página "rastreada" solo significa que Googlebot ha visitado la URL. Una página "indexada" significa que esa visita terminó con la URL guardada en el índice. Y una página que "posiciona" es aquella que además aparece en resultados para búsquedas concretas, con clics reales. Se puede estar en cualquiera de los tres estados sin estar en los otros dos.

La forma más rápida de comprobar si una URL concreta está indexada es escribir site:tudominio.com/ruta-exacta en la barra de búsqueda de Google. Si aparece, está indexada, con independencia de si recibe tráfico o no. Google Search Console ofrece el mismo dato de forma más fiable en el informe de Indexación de páginas y en la herramienta de Inspección de URLs.

El control real sobre esta cadena se ejerce con dos mecanismos que se confunden constantemente: robots.txt y la etiqueta noindex. La diferencia es la que más problemas causa en auditorías técnicas, así que conviene fijarla con ejemplos de código, no solo con teoría.

robots.txt actúa en la fase de rastreo: le dice a Googlebot qué rutas no debe visitar. Un ejemplo completo:

User-agent: *
Disallow: /admin/
Disallow: /carrito/
Disallow: /*?filtro=
Allow: /admin/login.html

Sitemap: https://www.tudominio.com/sitemap.xml

Lo que muchos no saben, y así lo confirma la propia documentación de Google, es que bloquear una URL en robots.txt no garantiza que quede fuera del índice. Si otras páginas enlazan a esa URL, Google puede indexarla igualmente, aunque nunca haya podido leer su contenido, y mostrarla en resultados sin descripción, solo con la URL pelada. Es un fallo de manual: quien quiere sacar una página de Google y para ello la bloquea en robots.txt consigue justo el efecto contrario al que buscaba.

La herramienta correcta para sacar una página del índice es la etiqueta noindex, que actúa en la fase de indexación, no en la de rastreo. Ejemplo en el <head> del HTML:

<meta name="robots" content="noindex, follow">

Aquí está la trampa que más veces se repite: noindex solo funciona si Googlebot puede rastrear la página. Si esa misma URL está bloqueada por robots.txt, Google nunca llega a leer la etiqueta noindex porque nunca descarga el HTML, así que la instrucción cae en saco roto. Regla práctica que resume todo el apartado: robots.txt impide el rastreo, noindex impide la indexación pese a permitir el rastreo. Para desindexar una URL, esa URL tiene que seguir siendo rastreable.

El riesgo práctico más subestimado no es que falten páginas en el índice, sino que sobren. Se conoce como index bloat: cuando Google indexa miles de URLs de bajo valor, como resultados de filtros internos, páginas de paginación sin contenido único, versiones duplicadas por parámetros de sesión o borradores olvidados, el índice se llena de ruido. Eso diluye la relevancia percibida del dominio. Empeora además la eficiencia de rastreo: Google reparte su atención entre miles de URLs irrelevantes en lugar de concentrarla en las páginas que sí importan.

El caso típico de index bloat aparece en tiendas online con navegación por facetas, donde cada combinación de filtro de talla, color y precio genera una URL distinta, o en sitios con parámetros de tracking (?utm_source=) que Google trata como URLs independientes si no hay canonical. La solución no es siempre noindex; a menudo el canonical hacia la versión limpia de la URL, junto con reglas claras en robots.txt para las rutas de parámetros, resuelve el problema de raíz.

Google documenta con precisión la diferencia entre robots.txt y noindex en su Search Central, y advierte de forma explícita que robots.txt "no es un mecanismo para mantener una página web fuera de Google". Es una cita textual, no una interpretación, y conviene tenerla presente antes de tocar cualquier archivo robots.txt con la intención de desindexar algo.

Para auditar el index bloat de forma ordenada conviene seguir un proceso en tres pasos. Primero, exportar desde el informe de Indexación de páginas de Search Console todas las URLs indexadas y agruparlas por patrón, por ejemplo todas las que contienen ?filtro= o todas las de paginación. Segundo, decidir el tratamiento adecuado para cada grupo: canonical hacia la versión limpia si el contenido es casi idéntico, noindex si la página tiene valor puntual pero no debe competir en el índice, o redirección 301 si ya no tiene ninguna función. Tercero, dar entre cuatro y seis semanas para que Google procese los cambios y volver a revisar el informe; los resultados no son inmediatos porque dependen de que Googlebot vuelva a rastrear cada URL afectada.

• Envía y mantén actualizado el sitemap XML en Google Search Console; es la vía más directa para que Google descubra URLs nuevas.
• Usa noindex, nunca robots.txt, cuando el objetivo real sea sacar una URL del índice.
• Revisa el informe de Indexación de páginas en Search Console al menos una vez al mes, no solo cuando algo falla.
• Implementa canonical autorreferenciados en todas las páginas y canonical hacia la versión limpia en las URLs con parámetros.
• Consolida o redirige con 301 las páginas de contenido casi idéntico en lugar de dejarlas competir entre sí por indexación.
• Vigila que ninguna página importante quede huérfana; sin enlaces internos que la señalen, Google la revisita con menos frecuencia.
• Comprueba con la herramienta de Inspección de URLs, no solo con site:, el estado real de indexación de páginas clave tras un cambio grande.

• Bloquear una URL en robots.txt esperando que eso la desindexe: puede seguir apareciendo en resultados sin descripción.
• Combinar robots.txt y noindex en la misma URL sin darse cuenta de que el bloqueo anula la etiqueta.
• Confundir "está indexada" con "posiciona": son dos estados distintos y hay que medirlos por separado.
• Dejar que la navegación por facetas o los parámetros de tracking generen miles de URLs indexables sin control.
• Olvidar quitar el noindex de páginas que se pusieron en mantenimiento y luego volvieron a producción.
• Dar por hecho que más páginas indexadas siempre es mejor, sin distinguir entre contenido útil y contenido redundante.