Qué significa Google-Extended
La primera confusión que conviene deshacer es de categoría. Google-Extended no descarga páginas. No existe ningún robot con ese nombre recorriendo la web, ni aparecerá nunca una línea con esa cadena en los registros del servidor. Quien descarga sigue siendo Googlebot, con el mismo comportamiento de siempre. Lo que hace el identificador es gobernar el uso posterior de un contenido que Google ya tiene en su índice.
Esa diferencia explica por qué la regla se escribe en robots.txt aunque no regule ningún rastreo. El archivo se aprovecha como el lugar donde el editor deja constancia de una preferencia, y Google la consulta al decidir si ese material puede alimentar determinados productos generativos. La propia documentación de Google recoge el matiz: el identificador se emplea en función de control, no de petición.
El control apareció el 28 de septiembre de 2023, cuando los productos afectados todavía se llamaban Bard y Vertex AI. Los nombres comerciales cambiaron después hacia la familia Gemini, pero el identificador conservó el suyo, de ahí que hoy resulte poco descriptivo. Conviene leerlo como «uso ampliado de lo ya rastreado» y no como «un segundo rastreador de Google», porque de esa lectura equivocada nacen casi todas las reglas mal escritas que se ven en producción.