¿Qué es el web scraping?

En inglés, to scrape significa raspar, y la versión española de las políticas de spam de Google usa la palabra «raspado». El término describe un proceso automático que copia datos de una página para usarlos en otro sitio, por ejemplo un precio o la lista de resultados de una búsqueda.

Un crawler recorre la web siguiendo enlaces para descubrir páginas, mientras que un scraper va a páginas concretas a por datos concretos; la entrada sobre crawlers explica la diferencia. Una API es la vía que el propio sitio ofrece para entregar sus datos con condiciones de uso; el scraping lee lo que la página muestra a las personas, sin ese acuerdo, y depende de un diseño que no controla.

El proceso tiene tres pasos. El primero es la descarga: el programa pide la URL con una petición HTTP y recibe el HTML. Si la página carga su contenido con JavaScript (renderizado en cliente), ese HTML puede llegar sin los datos, y hace falta un navegador sin interfaz que ejecute el código antes de leer.

El segundo es el análisis, en inglés parsing. El programa convierte el HTML en un árbol de elementos, el DOM, y localiza los datos por su posición o sus atributos: la etiqueta del precio, la clase CSS del título. Si la página publica también datos estructurados de producto, el scraper puede leerlos de ese bloque, que no depende de la maquetación.

El tercero es el almacenamiento en una hoja de cálculo o una base de datos, con la URL de origen y la fecha de extracción de cada valor. Sin fecha, una serie de precios no se puede comparar.

Antes de la primera petición, un scraper bien construido lee el robots.txt del dominio. El protocolo se publicó como RFC 9309 en septiembre de 2022 y lo dice expresamente: sus reglas no son una forma de autorización de acceso. robots.txt indica qué rutas se pide no visitar, no qué se puede hacer con los datos de una página visitada.

En marketing, el scraping sirve para observar precios y catálogos de la competencia y para seguir posiciones en los resultados de búsqueda (SERP). Las políticas de spam de Google, actualizadas el 1 de septiembre de 2026, cuentan como tráfico generado automáticamente «el raspado de datos de los resultados para comprobar el posicionamiento» sin permiso explícito, y añaden que esas actividades infringen sus políticas de spam y sus Términos del Servicio. La misma página llama raspado a tomar contenido de otros sitios y alojarlo para manipular el posicionamiento, un caso de contenido duplicado. También los rastreadores de IA que descargan texto para entrenar modelos extraen contenido.

Las normas que siguen no califican el scraping de legal o ilegal en general: depende de qué datos se extraen, de qué fuente y para qué. Si los datos se refieren a personas, por ejemplo nombres o correos de una ficha, se aplica el RGPD. Su definición de tratamiento incluye la recogida y la extracción, «ya sea por procedimientos automatizados o no» (art. 4.2), y la de datos personales no excluye los publicados en una web (art. 4.1). Hace falta una base jurídica del artículo 6, como el interés legítimo, ponderado frente a los derechos de la persona afectada, y el artículo 14 obliga a informarla, salvo excepciones como un esfuerzo desproporcionado.

La Directiva 96/9/CE, de 11 de marzo de 1996, da al fabricante de una base de datos un derecho sui generis si la obtención, la verificación o la presentación del contenido supusieron una inversión sustancial. Puede prohibir la extracción o reutilización de la totalidad o de una parte sustancial (art. 7.1), y tampoco se autoriza la extracción repetida o sistemática de partes no sustanciales contraria a la explotación normal de la base o que perjudique injustificadamente al fabricante (art. 7.5). El usuario legítimo puede extraer partes no sustanciales, y un contrato no puede quitarle ese derecho (art. 8.1 y art. 15). La protección dura quince años desde el 1 de enero siguiente a la finalización de la base, y una modificación sustancial abre un plazo propio (art. 10).

El Tribunal de Justicia de la UE la ha concretado. En el asunto C-762/19, CV-Online Latvia, de 3 de junio de 2021, un motor de búsqueda especializado que copia o indexa la totalidad o una parte sustancial de una base accesible libremente en internet, y después permite a sus usuarios buscar en ella desde su propio sitio, realiza, según el Tribunal, una extracción y una reutilización que el fabricante puede prohibir si ponen en riesgo la amortización de su inversión; comprobarlo corresponde al tribunal nacional. En el asunto C-30/14, Ryanair, de 15 de enero de 2015, declaró que la directiva no se aplica a una base sin protección de derechos de autor ni sui generis, y por tanto no impide limitar su uso por contrato, sin perjuicio del derecho nacional.

Para el análisis automatizado de contenidos rige la Directiva (UE) 2019/790, de 17 de abril de 2019. Define la minería de textos y datos como «toda técnica analítica automatizada destinada a analizar textos y datos en formato digital a fin de generar información que incluye, sin carácter exhaustivo, pautas, tendencias o correlaciones» (art. 2.2). El artículo 4 permite reproducciones y extracciones de obras accesibles de forma legítima para ese fin, salvo que el titular se haya reservado ese uso «de manera adecuada, como medios de lectura mecánica» en el caso de contenidos en línea. La directiva no nombra robots.txt; el considerando 18 menciona «los metadatos y las condiciones de un sitio web o un servicio». Cómo se expresa la reserva lo explica la entrada sobre la reserva de derechos TDM.

• Comprobar primero si el sitio ofrece una API o una exportación de datos.
• Leer el robots.txt y las condiciones de uso antes de empezar, y guardar la versión consultada con su fecha.
• Espaciar las peticiones y usar un user-agent propio.
• Extraer solo los campos necesarios y ningún dato personal que el objetivo no exija.
• Revisar los resultados cada vez que el sitio de origen cambie su diseño.

• Tratar robots.txt como una autorización de acceso o como un bloqueo técnico.
• Suponer que un dato publicado en una web no es un dato personal.
• Creer que extraer poco cada día nunca afecta a una parte sustancial.
• Republicar contenido extraído sin aportar nada propio.