Was ist Crawling? So durchsuchen Suchmaschinen deine Website

Ein Crawling-Durchgang beginnt, bevor der Bot die Seite überhaupt anfragt. Googlebot baut zuerst eine Liste möglicher URLs auf, aus drei Quellen: Links auf bereits besuchten Seiten, Adressen aus der XML-Sitemap und URLs, die aus früheren Besuchen bekannt sind. Diese Liste landet in einer Warteschlange. Die Reihenfolge, in der sie abgearbeitet wird, hängt vom verfügbaren Crawl-Budget der Domain ab und von der geschätzten Priorität jeder einzelnen URL.

Bei einer komplett neuen Domain läuft das anders: Google kennt noch keine einzige URL, es braucht einen ersten Einstiegspunkt. Das ist meist ein externer Link von einer Seite, die Google bereits besucht, eine Sitemap, die man manuell in der Search Console einreicht, oder eine einzelne Crawling-Anfrage über die URL-Prüfung. Fehlen alle drei, kann eine Domain lange komplett unter dem Radar bleiben.

Ist eine Adresse an der Reihe, schickt der Bot eine HTTP-Anfrage und lädt das HTML herunter. Hängt der Hauptinhalt der Seite von JavaScript ab, reicht dieses erste HTML meist nicht aus. Google markiert die Seite dann für eine zweite Runde: Ein Chromium ohne Bedienoberfläche, der Web Rendering Service, führt den Code aus und baut das fertige DOM auf, so wie es ein Browser anzeigen würde. Diese zweite Runde folgt oft erst Tage später. Eine Seite mit viel per JavaScript nachgeladenem Inhalt braucht deshalb länger, bis Google sie vollständig sieht.

Jede besuchte Seite liefert neue Links, die wieder in die Warteschlange wandern, und der Kreislauf beginnt von vorn. Eine URL verschwindet nach dem ersten Besuch nicht aus der Liste. Sie bekommt einen Platz im Wiederbesuchs-Zeitplan, der festlegt, wann Google erneut vorbeischaut.

Die beiden Begriffe werden oft vermischt, meinen aber Verschiedenes. Der Crawler ist das Programm: ein Bot wie Googlebot oder Bingbot, mit eigenem User-Agent, eigenen Verhaltensregeln und einer eigenen Auslegung der robots.txt. Crawling ist das, was dieses Programm tut: der Prozess, Seiten zu entdecken, zu besuchen und über die Zeit erneut zu besuchen.

Der Unterschied zeigt sich an den Fragen, die jeder Begriff beantwortet. „Welche Bots besuchen meine Seite, und woran erkenne ich sie?" ist eine Frage zum Crawler. „Wie oft kommt Google in diesen Bereich zurück, und warum dauert es so lange, bis neue Seiten gefunden werden?" ist eine Frage zum Crawling. Einen Überblick über die aktivsten Crawler 2026 und ihre Funktionsweise liefert der Artikel zum Crawler. Hier geht es um den Prozess dahinter.

Das wirkt sich auch auf die Lösung aus. Wer die Crawling-Frequenz einer Sektion erhöhen will, arbeitet an internen Links und an frischem Content, nicht an Bot-Einstellungen. Wer dagegen einen aggressiven, unbekannten Bot aussperren will, der sich nur als Crawler ausgibt, braucht die Informationen aus dem Crawler-Artikel: welchen User-Agent er verwendet und wie man ihn zuverlässig per robots.txt oder IP blockiert.

Google besucht nicht alle Seiten einer Domain gleich oft, und es gibt keinen festen Kalender dafür. Zwei Faktoren entscheiden über den nächsten Besuch: die geschätzte Wichtigkeit einer URL (wie viele interne und externe Links auf sie zeigen, wie viel Traffic sie bringt, ob sie in der Sitemap steht) und wie oft sie sich in der Vergangenheit verändert hat. Eine Nachrichten-Startseite, die sich stündlich aktualisiert, kann mehrmals am Tag besucht werden. Eine Datenschutzseite, die seit zwei Jahren unverändert ist, wartet dagegen wochenlang auf den nächsten Besuch.

E-Commerce zeigt den Unterschied gut. Eine Produktseite, deren Bestand und Preis sich täglich ändern, bekommt meist häufig Besuch, weil Google gelernt hat, dass es dort etwas zu prüfen gibt. Eine „Über uns"-Seite, die seit drei Jahren unverändert ist, landet am anderen Ende: Google kennt sie, hat sie indexiert, widmet ihr aber selten einen erneuten Besuch, weil die Erfahrung zeigt, dass sich dort nichts ändert.

Saisonale Aktionsseiten folgen demselben Muster in die andere Richtung. Eine Kampagnenseite, die nur zwei Wochen im Jahr aktiv ist, verliert in der Nebensaison an Besuchsfrequenz, weil Google in dieser Zeit selten Änderungen findet. Das ist kein Fehler im System, sondern die logische Folge derselben Regel: Wichtigkeit und Änderungshäufigkeit werden laufend neu bewertet, nicht einmalig festgelegt.

Das hat eine praktische Konsequenz. Wer regelmäßig neue Inhalte in einem Bereich veröffentlicht, zeigt Google, dass sich dort etwas tut, und die Besuchsfrequenz kann mit der Zeit steigen. Umgekehrt gilt dasselbe: Ein Bereich mit URLs, die sich nie ändern oder häufig Fehler liefern, bekommt seltener Besuch, weil Google gelernt hat, dass sich der Aufwand meist nicht lohnt.

Auch der Server selbst spielt mit. Erkennt Google hohe Antwortzeiten oder wiederholte 5xx-Fehler, drosselt es das Tempo der Anfragen, um die Seite nicht zu überlasten. Das dokumentiert Google direkt in seinem Leitfaden zum Crawl-Budget.

Am direktesten sieht man, was Google auf der eigenen Seite tut, in den Server-Logfiles. Jede Anfrage von Googlebot hinterlässt eine Zeile mit Datum, angefragter URL, zurückgegebenem Statuscode und User-Agent. Filtert man diese Zeilen nach User-Agent und prüft die IP-Adresse gegen Googles offizielle IP-Bereiche, sieht man genau, was gecrawlt wird, wie oft und mit welchem Ergebnis, unabhängig davon, was Google in seinen eigenen Tools anzeigt.

Eine typische Googlebot-Logzeile sieht ungefähr so aus: die anfragende IP, das Datum, Methode und angefragte URL, der Statuscode und der User-Agent-String, etwa GET /kategorie/produkt 200 gefolgt von „Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)". Der User-Agent allein beweist nichts, er lässt sich beliebig fälschen. Die verlässliche Prüfung läuft über eine Reverse-DNS-Auflösung der IP, die Kontrolle, dass die aufgelöste Domain zu googlebot.com oder google.com gehört, und danach eine Vorwärtsauflösung zurück zur selben IP.

Die Search Console bietet dafür einen bequemeren, aber weniger vollständigen Blick: den Crawling-Statistik-Bericht (Einstellungen > Crawling-Statistiken). Er zeigt die Gesamtzahl der Anfragen der letzten 90 Tage, aufgeschlüsselt nach Antwortcode, nach Dateityp und danach, ob der Besuch dem Entdecken einer neuen URL diente oder dem Aktualisieren einer bekannten. Er trennt außerdem nach Googlebot-Typ, sodass sich Desktop-Crawling von Mobil- oder Bild-Crawling unterscheiden lässt.

Keine der beiden Quellen ersetzt die andere. Die Logfiles zeigen das Detail Zeile für Zeile, der Search-Console-Bericht zeigt den Trend und macht Ausreißer sichtbar, ohne tausende Zeilen von Hand durchzugehen.

Ein plötzlicher Einbruch der Anfragen im Crawling-Statistik-Bericht ist oft das erste sichtbare Warnsignal für ein technisches Problem, noch bevor es sich in Rankings oder im Traffic zeigt. Ein fehlerhaftes Deployment, eine falsch gesetzte robots.txt-Regel oder ein überlasteter Server tauchen dort typischerweise früher auf als in Analytics. Wer den Bericht regelmäßig ansieht statt nur bei Verdacht, gewinnt genau diesen zeitlichen Vorsprung.

• XML-Sitemap aktuell halten, nur mit URLs, die tatsächlich indexiert werden sollen.
• robots.txt regelmäßig prüfen, damit keine Bereiche versehentlich blockiert sind.
• Neue Seiten intern verlinken. Das ist der schnellste Weg, damit Google sie überhaupt findet.
• Antwortzeit des Servers im Blick behalten. Eine langsame Seite bekommt weniger Crawling-Besuche.
• Redirect-Ketten und tote Links beseitigen. Jeder Sprung kostet Crawl-Budget.
• Den Crawling-Statistik-Bericht in der Search Console mindestens einmal im Monat prüfen.

• „Steht in der Sitemap" mit „ist gecrawlt" verwechseln. Die Sitemap ist ein Vorschlag, keine Anweisung.
• Seiten per robots.txt blockieren, die gleichzeitig noindex bekommen sollen. Blockiertes Crawling verhindert, dass Google das noindex-Tag überhaupt sieht.
• Erwarten, dass eine neue Seite am Tag der Veröffentlichung gecrawlt wird. Ohne interne Links, die auf sie zeigen, kann das Wochen dauern.
• Annehmen, mehr Crawling sei immer besser. Budget, das in doppelten Parameter-URLs verpufft, fehlt bei den Seiten, die wirklich zählen.
• Die Zahl „gecrawlte Seiten" aus der Search Console mit „indexierte Seiten" gleichsetzen. Das sind zwei verschiedene Werte.