Web Scraping ist das automatische Auslesen konkreter Daten aus Webseiten: Ein Programm lädt die Seite, findet die Daten im Code und speichert sie in einem weiterverwendbaren Format, etwa einer Tabelle oder einer Datenbank.
Web Scraping liest Daten automatisch aus Webseiten aus: wie es abläuft, was robots.txt regelt und was DSGVO und Datenbankrecht dazu sagen.
Was Web Scraping bedeutet
Auf Englisch heißt to scrape abkratzen; die deutsche Fassung der Google-Spamrichtlinien übernimmt das Wort Scraping unübersetzt. Gemeint ist ein automatischer Vorgang, der Daten von einer Seite kopiert, um sie anderswo zu verwenden, zum Beispiel einen Preis oder die Ergebnisliste einer Suche.
Ein Crawler folgt Links, um Seiten zu entdecken, ein Scraper dagegen ruft bestimmte Seiten auf, um bestimmte Daten zu holen; der Eintrag zu Crawlern erklärt den Unterschied. Eine API ist der Weg, den die Website selbst anbietet, um ihre Daten mit Nutzungsbedingungen herauszugeben; Scraping liest dagegen, was die Seite Menschen anzeigt, ohne solche Absprache, und hängt an einem Layout, das der Scraper nicht kontrolliert.
Wie es funktioniert
Der Ablauf hat drei Schritte. Der erste ist der Abruf: Das Programm fordert die URL per HTTP-Anfrage an und erhält das HTML. Lädt die Seite ihren Inhalt per JavaScript nach (Client-Side Rendering), kann dieses HTML ohne die Daten ankommen, und es braucht einen Browser ohne Oberfläche, der den Code ausführt, bevor gelesen wird.
Der zweite ist das Parsen. Das Programm wandelt das HTML in einen Baum aus Elementen um, das DOM, und findet die Daten über ihre Position oder ihre Attribute: das Element mit dem Preis, die CSS-Klasse des Titels. Veröffentlicht die Seite zusätzlich strukturierte Produktdaten, kann der Scraper sie aus diesem Block lesen, der nicht vom Layout abhängt.
Der dritte ist das Speichern in einer Tabelle oder Datenbank, mit Quell-URL und Abrufdatum zu jedem Wert. Ohne Datum lässt sich eine Preisreihe nicht vergleichen.
Vor der ersten Anfrage liest ein sauber gebauter Scraper die robots.txt der Domain. Das Protokoll erschien im September 2022 als RFC 9309 und sagt es ausdrücklich: Seine Regeln sind keine Form der Zugriffsberechtigung. robots.txt sagt, welche Pfade nicht besucht werden sollen, nicht, was mit den Daten einer besuchten Seite geschehen darf.
Warum es zählt
Im Marketing dient Scraping dazu, Preise und Sortiment der Konkurrenz zu beobachten und Positionen in den Suchergebnissen (SERP) zu verfolgen. Die Google-Spamrichtlinien, aktualisiert am 2. September 2026, zählen zum maschinengenerierten Traffic „das Scraping von Ergebnissen zur Ermittlung des Rankings“ ohne ausdrückliche Genehmigung und schreiben, solche Aktivitäten verstoßen gegen die Spamrichtlinien und die Google-Nutzungsbedingungen. Dieselbe Seite nennt es Scraping, Inhalte anderer Websites zu kopieren und zu hosten, um Rankings zu manipulieren, ein Fall von doppeltem Content. Auch KI-Crawler, die Text für das Training von Modellen laden, lesen Inhalte automatisch aus.
Die folgenden Regeln erklären Scraping nicht pauschal für erlaubt oder verboten: Es kommt darauf an, welche Daten aus welcher Quelle wofür ausgelesen werden. Betreffen die Daten Personen, etwa Namen oder E-Mail-Adressen aus einem Profil, gilt die DSGVO. Ihre Definition der Verarbeitung umfasst das Erheben und das Auslesen, „mit oder ohne Hilfe automatisierter Verfahren“ (Art. 4 Nr. 2), und die Definition personenbezogener Daten nimmt veröffentlichte Daten nicht aus (Art. 4 Nr. 1). Du brauchst eine Rechtsgrundlage nach Art. 6, etwa das berechtigte Interesse, abgewogen gegen die Rechte der betroffenen Person, und Art. 14 verlangt, sie zu informieren, mit Ausnahmen wie einem unverhältnismäßigen Aufwand.
Die Richtlinie 96/9/EG vom 11. März 1996 gibt dem Hersteller einer Datenbank ein Schutzrecht sui generis, wenn die Beschaffung, Überprüfung oder Darstellung des Inhalts eine wesentliche Investition erforderte. Er kann die Entnahme und Weiterverwendung der Gesamtheit oder eines wesentlichen Teils untersagen (Art. 7 Abs. 1). Unzulässig ist auch die wiederholte und systematische Entnahme unwesentlicher Teile, wenn sie der normalen Nutzung der Datenbank entgegensteht oder die berechtigten Interessen des Herstellers unzumutbar beeinträchtigt (Art. 7 Abs. 5). Rechtmäßige Benutzer dürfen unwesentliche Teile entnehmen, und ein Vertrag kann ihnen das nicht nehmen (Art. 8 Abs. 1 und Art. 15). Der Schutz endet 15 Jahre nach dem 1. Januar des Jahres, das auf die Fertigstellung folgt, und eine wesentliche Änderung begründet eine eigene Schutzdauer (Art. 10).
Der Gerichtshof der EU hat die Richtlinie konkretisiert. In der Rechtssache C-762/19, CV-Online Latvia, vom 3. Juni 2021 nimmt eine spezialisierte Suchmaschine, die die Gesamtheit oder wesentliche Teile einer im Internet frei zugänglichen Datenbank kopiert und indexiert und ihren Nutzern dann die Suche darin auf der eigenen Website ermöglicht, nach dem Urteil eine Entnahme und Weiterverwendung vor, die der Hersteller untersagen kann, wenn sie die Amortisierung seiner Investition gefährdet; das hat das nationale Gericht zu prüfen. In der Rechtssache C-30/14, Ryanair, vom 15. Januar 2015 entschied er, dass die Richtlinie auf eine Datenbank ohne Urheberrechts- oder Sui-generis-Schutz nicht anwendbar ist und vertragliche Nutzungsbeschränkungen daher nicht verwehrt, unbeschadet des nationalen Rechts.
Für die automatisierte Analyse von Inhalten gilt die Richtlinie (EU) 2019/790 vom 17. April 2019. Sie versteht unter Text und Data Mining eine Technik für die automatisierte Analyse von Texten und Daten in digitaler Form, mit der unter anderem, aber nicht ausschließlich, Informationen über Muster, Trends und Korrelationen gewonnen werden können (Art. 2 Nr. 2). Art. 4 erlaubt dafür Vervielfältigungen und Entnahmen rechtmäßig zugänglicher Werke, sofern der Rechteinhaber sie nicht „ausdrücklich in angemessener Weise, etwa mit maschinenlesbaren Mitteln im Fall von online veröffentlichten Inhalten“, mit einem Nutzungsvorbehalt versehen hat. Die Richtlinie nennt robots.txt nicht; Erwägungsgrund 18 erwähnt „Metadaten und Geschäftsbedingungen einer Website oder eines Dienstes“. Wie der Vorbehalt ausgedrückt wird, erklärt der Eintrag zum TDM-Rechtevorbehalt.
Weder pauschal erlaubt noch verboten
Es kommt darauf an, welche Daten aus welcher Quelle wofür ausgelesen werden.
Welche Daten?
Daten über Personen, etwa Namen oder E-Mail-Adressen aus einem Profil
Es gilt
DSGVO, Art. 6 und 14: eine Rechtsgrundlage und die Person informieren, mit Ausnahmen
Achtung
Auch veröffentlichte Daten
Welche Quelle?
Eine Datenbank, die eine wesentliche Investition erforderte
Es gilt
Richtlinie 96/9/EG, Art. 7: Der Hersteller kann die Entnahme eines wesentlichen Teils untersagen
Achtung
Auch unwesentliche Teile, wiederholt und systematisch entnommen, wenn das der normalen Nutzung der Datenbank entgegensteht
Wofür?
Text und Data Mining
Es gilt
Richtlinie (EU) 2019/790, Art. 4: erlaubt bei rechtmäßig zugänglichen Werken, außer bei einem Nutzungsvorbehalt des Rechteinhabers
Achtung
Die Richtlinie nennt robots.txt nicht
Keine der drei Fragen beantwortet die robots.txt.
Best Practices
Zuerst prüfen, ob die Website eine API oder einen Datenexport anbietet.
Vor dem Start robots.txt und Nutzungsbedingungen lesen und die gelesene Fassung mit Datum sichern.
Anfragen zeitlich verteilen und einen eigenen User-Agent verwenden.
Nur die nötigen Felder auslesen und keine personenbezogenen Daten, die der Zweck nicht verlangt.
Die Ergebnisse prüfen, sobald die Quellseite ihr Layout ändert.
Häufige Fehler
robots.txt als Zugriffsberechtigung oder als technische Sperre behandeln.
Annehmen, dass veröffentlichte Daten keine personenbezogenen Daten sind.
Glauben, dass wenig pro Tag nie einen wesentlichen Teil betrifft.
Ausgelesene Inhalte ohne eigenen Mehrwert neu veröffentlichen.
Manuel Riveiro RodriguezCEO & Digital Strategist
Eine technische Prüfung sieht sich das und alles Weitere in einem Durchgang an.
Web Scraping ist das automatische Auslesen konkreter Daten aus Webseiten. Ein Programm lädt die Seite, analysiert ihr HTML, um die Daten zu finden, etwa einen Preis oder einen Titel, und speichert sie in einer Tabelle oder Datenbank. Anders als ein Crawler sucht es keine neuen Seiten.
Ist Web Scraping legal?
Eine allgemeine Antwort gibt es nicht. Bei Daten über Personen gilt die DSGVO, und du brauchst eine Rechtsgrundlage. Ist die Quelle eine geschützte Datenbank, begrenzt die Richtlinie 96/9/EG die Entnahme wesentlicher Teile. Für Text und Data Mining gilt Art. 4 der Richtlinie 2019/790 mit dem Vorbehalt des Rechteinhabers.
Verbietet robots.txt Web Scraping?
Nein. RFC 9309 vom September 2022 beschreibt Regeln, um deren Einhaltung Crawler gebeten werden, und stellt klar, dass sie keine Form der Zugriffsberechtigung sind. robots.txt sagt, welche Pfade nicht besucht werden sollen, regelt aber nicht, was mit den Daten der besuchten Seiten geschehen darf.
Was unterscheidet Web Scraping von einer API?
Eine API ist der Weg, den die Website selbst anbietet, um ihre Daten herauszugeben, mit festem Format, Grenzen und Nutzungsbedingungen. Scraping liest, was die Seite Menschen anzeigt, ohne solche Absprache. Ändert die Website eine Vorlage, kann der Scraper leere oder falsche Daten liefern, ohne Fehlermeldung.
Darf ich Google-Suchergebnisse automatisch auslesen?
Nicht ohne ausdrückliche Genehmigung von Google. Die Spamrichtlinien zählen das Scraping von Ergebnissen zur Ermittlung des Rankings und andere nicht genehmigte automatisierte Zugriffe auf die Google Suche zum maschinengenerierten Traffic. Laut Google verstoßen solche Aktivitäten gegen die Spamrichtlinien und die Google-Nutzungsbedingungen.
