Was ist ein Crawler?

Ein Crawler, auch Webcrawler, Spider oder Indexierungs-Bot genannt, ist ein Programm, das automatisiert und systematisch Webseiten besucht. Er startet mit einer Liste bekannter URLs, der sogenannten Seed-Liste, ruft jede davon auf, liest den Inhalt und erkennt die darin enthaltenen Links. Von dort folgt er diesen Links zu neuen Seiten und wiederholt den Vorgang ohne menschliches Zutun.

Der Begriff wird manchmal als Synonym für „Bot" verwendet, aber nicht jeder Bot ist ein Crawler. Ein Crawler erkundet und entdeckt Inhalte breit angelegt, während ein Scraper konkrete Daten von einer bereits bekannten Seite gezielt ausliest und anderswo weiterverwendet. Google selbst nutzt „Crawler" beziehungsweise „Rastreador" als offiziellen Begriff in der Search Console und in seiner Entwickler-Dokumentation.

Ein Crawler durchquert theoretisch das gesamte World Wide Web, in der Praxis entscheidet aber jeder Betreiber selbst, welchen Teil er wie oft besucht. Davon hängt ab, ob eine Seite überhaupt in einer Suchmaschine erscheint oder von einem KI-System zitiert wird. Deshalb gehört der Crawler zu den ersten Konzepten in jedem Technischen SEO.

Nicht jeder Crawler verfolgt denselben Zweck. Manche indexieren Inhalte für eine klassische Suchmaschine, andere nutzen sie zum Trainieren von KI-Modellen, wieder andere rastern sie, um sie in einer live generierten Antwort zitieren zu können. Die Tabelle zeigt die fünf bekanntesten und wofür sie jeweils stehen.

Der häufigste Denkfehler ist, alle KI-Crawler in einen Topf zu werfen. GPTBot und Google-Extended dienen dem Training von Modellen, sie zu blockieren nimmt eine Seite aus keiner Suchmaschine heraus. PerplexityBot ist anders: Er speist direkt das Suchprodukt von Perplexity, ihn zu blockieren kann eine Seite tatsächlich aus dessen Antworten entfernen.

Der Vorgang beginnt mit einer Seed-Liste aus URLs, gewonnen aus Sitemaps, externen Links oder früheren Crawls. Der Crawler ruft jede URL auf, lädt das HTML herunter und führt, sofern er das unterstützt, das JavaScript der Seite aus, bevor er das Ergebnis liest. Googlebot rendert JavaScript seit Jahren standardmäßig, einfachere oder ältere Crawler lesen dagegen nur das anfängliche HTML. Eine Seite, deren Inhalt vollständig von JavaScript abhängt, kann für sie unsichtbar bleiben.

Bevor ein respektvoller Crawler eine Seite anfragt, prüft er die robots.txt-Datei der Domain und hält sich an die dort gefundenen Disallow-Regeln und User-Agent-spezifischen Anweisungen, dazu an einen eventuell angegebenen Crawl-Delay. Nicht jeder Crawler befolgt diese Regeln wortgetreu: Laut Googles eigener Dokumentation interpretieren unterschiedliche Crawler die Syntax unterschiedlich.

User-agent: *
Disallow: /admin/
Disallow: /*?sort=
Allow: /wp-content/uploads/

Sitemap: https://zds.es/sitemap.xml

Jeder Link, den der Crawler auf einer Seite findet, ist ein Hinweis, was als Nächstes zu besuchen ist, und zugleich ein Signal für die Berechnung des PageRank der Zielseite, sofern der Link nicht mit nofollow statt dofollow markiert ist. Neben dem HTML kann ein moderner Crawler auch die strukturierten Daten einer Seite lesen, um besser zu verstehen, worum es geht. Seiten, die er erfolgreich lesen kann, gehen in die Indexierungsphase; Seiten mit einem Error 400 oder Error 500 werden vorerst verworfen, und Seiten, die es nicht mehr gibt und einen Error 404 liefern, fallen mit der Zeit aus dem Index.

Google reserviert jeder Domain ein begrenztes Crawl-Budget: eine begrenzte Anzahl an Anfragen, die es in einem bestimmten Zeitraum bereit ist zu stellen, abhängig von der Qualität der Seiten, der Serverleistung und der Beliebtheit der Website. Bei einer kleinen Website fällt diese Grenze kaum auf. Bei einer Website mit Zehntausenden URLs, vor allem wenn viele Varianten durch Filter oder Parameter entstehen, lässt ein Budget, das an irrelevanten Seiten verpufft, weniger Spielraum für die Seiten übrig, die wirklich zählen.

Davon hängt ein Großteil der organischen Suche ab: Eine Seite, die der Crawler nicht besucht, kann nicht indexiert werden, und eine nicht indexierte Seite kann in keinem Ergebnis erscheinen. Bei KI-Crawlern gilt Ähnliches, mit Nuancen: Wer den Crawler blockiert, der ein Antwortprodukt speist, kappt die Sichtbarkeit genau dort, während das Blockieren eines Trainings-Crawlers nur künftige Modelle betrifft, nicht die aktuelle Position in irgendeiner Suchmaschine.

Welche Crawler man zulässt und welche nicht, ist im Kern ebenso eine geschäftliche wie eine technische Entscheidung.

• Die robots.txt-Datei aktuell halten und nach jeder größeren Strukturänderung testen, um nicht versehentlich ganze Bereiche der Website zu blockieren.
• Eine aktuelle sitemap.xml veröffentlichen, damit der Crawler neue Seiten findet, ohne allein auf interne Verlinkung angewiesen zu sein.
• Lange Ketten interner Weiterleitungen vermeiden, denn jeder zusätzliche Sprung kostet einen Teil des Crawl-Budgets, ohne neuen Inhalt zu liefern.
• Prüfen, dass CSS- und JavaScript-Dateien, die für das Rendering nötig sind, nicht versehentlich in robots.txt blockiert sind.
• Die Server-Logs durchsehen, um zu sehen, welche Crawler die Website tatsächlich besuchen, statt sich allein auf die Angaben in robots.txt zu verlassen.
• Bewusst entscheiden, nicht nach Standardeinstellung, ob KI-Trainings-Crawler wie GPTBot Zugriff bekommen.

• Glauben, eine in robots.txt blockierte URL verschwinde aus Google: Sie kann weiterhin ohne Beschreibung in den Ergebnissen erscheinen, wenn eine andere Seite darauf verlinkt.
• Unabsichtlich die CSS- oder JavaScript-Dateien blockieren, die der Crawler zum korrekten Rendern der Seite braucht.
• Alle KI-Crawler gleich behandeln, obwohl manche Modelle trainieren und andere ein Live-Antwortprodukt speisen.
• Einen Crawler mit einem Scraper verwechseln: zwei Programme mit unterschiedlichem Zweck, auch wenn beide dieselben Seiten aufrufen.
• Das Crawl-Budget bei großen Websites mit Tausenden durch Filter erzeugten URLs ignorieren, wodurch wichtige Seiten unbesucht bleiben.