¿Qué es Robots.txt?

El archivo vive siempre en la misma ubicación: la raíz del dominio, accesible en https://tudominio.com/robots.txt. Un rastreador respetuoso lo consulta antes de pedir cualquier otra URL del sitio, así que su contenido tiene que estar disponible sin redirecciones ni bloqueos previos.

Cada bloque de reglas empieza con User-agent, que indica a qué rastreador se aplica lo que sigue: un nombre concreto como Googlebot, o un asterisco para dirigirse a todos. Después vienen las directivas propiamente dichas. Disallow bloquea una ruta o un directorio entero; una línea vacía tras Disallow, sin ninguna ruta detrás, no bloquea nada. Allow hace lo contrario y sirve sobre todo para abrir una excepción dentro de un directorio bloqueado, un archivo suelto que sí debe rastrearse aunque su carpeta esté cerrada. La directiva Sitemap, opcional y con la URL completa del archivo, le dice al rastreador dónde encontrar el mapa del sitio; puede repetirse si hay varios sitemaps.

Dos comodines amplían lo que se puede expresar con pocas líneas: el asterisco (*) sustituye cualquier secuencia de caracteres dentro de una ruta, y el símbolo del dólar ($) marca el final exacto de una URL. Combinados permiten bloquear, por ejemplo, todas las URLs que terminan en un parámetro concreto sin tener que listarlas una por una.

User-agent: *
Disallow: /admin/
Disallow: /carrito/
Disallow: /*?filtro=
Allow: /wp-content/uploads/

User-agent: Googlebot-Image
Disallow: /fotos-privadas/

Sitemap: https://tudominio.com/sitemap.xml

Cuando varias reglas de un mismo bloque afectan a la misma URL, Google aplica la más específica, la que tiene la ruta más larga, no la primera que aparece en el archivo. Ese detalle explica por qué un Allow puntual puede convivir con un Disallow más amplio en el mismo bloque sin contradecirse.

Las rutas de Disallow y Allow distinguen mayúsculas de minúsculas, así que /Admin/ y /admin/ son dos reglas distintas para el rastreador, aunque en el servidor apunten al mismo sitio si el sistema de archivos no las diferencia. Las líneas que empiezan por almohadilla (#) son comentarios y el rastreador las ignora por completo, útiles para dejar anotado por qué existe una regla concreta sin que afecte al comportamiento del archivo.

Aquí está el malentendido más repetido de todo el SEO técnico: robots.txt no decide qué aparece en el índice de Google. Solo decide qué puede visitar el rastreador. Son dos fases distintas del mismo proceso, y confundirlas lleva a resultados que parecen contradictorios si no se entiende el mecanismo de fondo.

Un ejemplo concreto lo deja claro. Si bloqueas una URL con Disallow y esa URL recibe un enlace desde otra web, Google puede indexarla igualmente, a partir de la señal de ese enlace externo, sin haber descargado nunca su contenido. El resultado en el buscador es una entrada extraña: aparece la URL desnuda, sin título ni descripción, a veces con el aviso "no hay información disponible para esta página". Eso ocurre precisamente porque el rastreador nunca entró a leer el HTML, así que tampoco pudo leer ninguna directiva que hubiera dentro, ni siquiera una etiqueta noindex puesta ahí para sacarla del índice.

Esa última parte es la trampa en la que caen muchos sitios: bloquear en robots.txt una página que además lleva noindex no la excluye del índice, la deja en el peor escenario posible, donde ninguna de las dos directivas llega a aplicarse del todo. Para que noindex funcione, el rastreador necesita poder entrar y leerlo, lo que exige justo lo contrario de bloquearla. El artículo sobre noindex desarrolla esa directiva en detalle, con sus dos variantes técnicas y cuándo usar cada una; aquí basta con quedarse con la regla práctica: robots.txt gestiona el acceso del rastreador, noindex gestiona la entrada en el índice, y para excluir una URL de forma fiable hace falta la segunda, no la primera.

La confusión suele nacer porque ambos mecanismos se configuran en el mismo momento, durante un relanzamiento técnico o una limpieza del sitio, y porque a primera vista se sienten parecidos: una regla, un archivo, un efecto sobre la visibilidad. En realidad ocupan dos puntos distintos de la cadena. robots.txt decide al principio si el rastreador puede siquiera llamar a la puerta. noindex decide después, una vez que el rastreador ya entró y leyó lo que hay en la página.

robots.txt es un archivo público. Cualquiera, persona o programa, puede abrir https://tudominio.com/robots.txt en un navegador y leer exactamente qué rutas has decidido bloquear. Ese dato ya cambia la forma de pensar sobre el archivo: es una nota clavada en la puerta pidiendo que no se entre, y una nota de ese tipo no cierra nada por sí sola.

Los rastreadores serios, Googlebot, Bingbot y el resto de bots que dependen de mantener una buena relación con los sitios que visitan, respetan esa nota porque les conviene a largo plazo. Un bot malicioso, un scraper de precios, un escáner de vulnerabilidades, no tiene ningún incentivo para hacerlo, y de hecho suele usar robots.txt justo al revés: como un mapa de qué carpetas merece la pena investigar primero, porque alguien se molestó en pedir explícitamente que no se miraran.

De ahí sale el error más caro que se puede cometer con este archivo: listar en Disallow rutas sensibles, un panel de administración, un entorno de pruebas, una carpeta de copias de seguridad, pensando que así quedan ocultas. El efecto es el contrario. Esas rutas quedan publicadas en texto plano para quien quiera leerlas, mientras que un bot que no respeta la directiva las visita sin ningún obstáculo real. Para proteger algo de verdad hace falta autenticación, una contraseña, una lista de IPs permitidas, no una línea en un archivo que cualquiera puede consultar. El artículo sobre el crawler incluye un esquema visual que compara justo este punto, bloqueado no es lo mismo que fuera, y vale la pena revisarlo si esta distinción sigue sin quedar clara.

La propia documentación de Google lo dice sin rodeos: robots.txt no es un mecanismo para mantener una página fuera de su buscador. Sirve para gestionar la carga de peticiones que un rastreador genera sobre un servidor y para orientar ese tráfico hacia lo que interesa, no para levantar una barrera de acceso. Tratarlo como si fuera una cerradura es el origen de buena parte de los incidentes de exposición de datos que luego se descubren por accidente, cuando alguien encuentra el archivo y sigue exactamente las rutas que ahí se pedía no visitar.

• Coloca el archivo siempre en la raíz del dominio, en texto plano y accesible sin redirecciones, para que el rastreador lo encuentre en el primer intento.
• Usa Disallow solo para rutas que de verdad no aportan nada al rastreo: paneles internos, resultados de búsqueda interna, parámetros de filtro que multiplican URLs sin contenido nuevo.
• Añade la línea Sitemap al final del archivo para que el rastreador encuentre el mapa del sitio sin depender solo de los enlaces internos.
• Comprueba con el probador de robots.txt de Search Console que las reglas hacen exactamente lo que crees antes de publicarlas, sobre todo cuando usas comodines.
• Si necesitas sacar una URL del índice, no la bloquees con Disallow: usa noindex y deja que robots.txt permita el acceso a esa ruta.
• Revisa el archivo tras cada cambio grande de estructura o migración; una regla heredada de un entorno de pruebas puede bloquear el sitio entero sin que nadie lo note durante semanas.

• Bloquear todo el sitio sin querer con una regla como Disallow: / que se quedó activa tras pasar de un entorno de pruebas a producción.
• Listar rutas sensibles en Disallow pensando que así quedan protegidas, cuando en realidad quedan publicadas para cualquiera que abra el archivo.
• Bloquear carpetas de CSS o JavaScript necesarias para que el rastreador renderice la página correctamente, lo que puede hacer que Google vea una versión rota del sitio.
• Combinar Disallow y noindex en la misma URL, con lo que el rastreador nunca llega a leer la etiqueta de exclusión y esa página puede seguir apareciendo, sin descripción, en los resultados.
• Dar por hecho que bloquear una URL en robots.txt la saca de Google de forma inmediata y definitiva, cuando en realidad puede seguir indexada si recibe enlaces desde otras páginas.