Was ist Googlebot?

Die beiden Typen unterscheiden sich im User Agent der HTTP-Anfrage, in der robots.txt folgen sie aber demselben Token „Googlebot“. Eine Regel nur für den mobilen oder nur für den Desktop-Crawler ist deshalb nicht möglich. Weil Google bei den meisten Websites vor allem die mobile Version indexiert, kommt der größte Teil der Anfragen von Googlebot Smartphone. Mobile-First-Indexing hat einen eigenen Eintrag in diesem Glossar.

Google teilt seine Crawler und Fetcher in drei Gruppen: - Allgemeine Crawler wie Googlebot. Bei automatischen Crawls halten sie sich immer an die robots.txt. Zur selben Gruppe gehören Googlebot-Image, Googlebot-Video, Storebot-Google für Google Shopping und Google-InspectionTool, das Testwerkzeuge wie der Test für Rich-Suchergebnisse und die URL-Prüfung der Search Console nutzen. Googlebot-News gibt es nur als robots.txt-Token, gecrawlt wird mit den User Agents von Googlebot. - Crawler für Sonderfälle wie AdsBot, mit dem Google Ads die Anzeigenqualität auf Seiten prüft. Sie arbeiten auf Grundlage einer Vereinbarung zwischen Website und Google-Produkt und halten sich nicht unbedingt an die robots.txt. AdsBot zum Beispiel ignoriert Regeln für den globalen User Agent (*). - Vom Nutzer ausgelöste Fetcher wie Google Site Verifier. Weil ein Mensch die Anfrage auslöst, ignorieren sie die robots.txt.

Google-Extended ist ebenfalls kein eigener Crawler, sondern ein robots.txt-Token, mit dem eine Website festlegt, ob von Google gecrawlte Inhalte für das Training von Gemini-Modellen genutzt werden dürfen. Es hat einen eigenen Eintrag in diesem Glossar.

Googlebot findet neue URLs vor allem über Links in Seiten, die er schon gecrawlt hat. Laut Google sollte er bei den meisten Websites im Schnitt nicht öfter als einmal alle paar Sekunden zugreifen. Für die Google-Suche lädt er die ersten 2 MB jedes unterstützten Dateityps und die ersten 64 MB eines PDFs, gemessen unkomprimiert. Jede Ressource, die die Seite zum Rendern braucht, etwa CSS oder JavaScript, wird einzeln mit derselben Grenze geladen. Was darüber liegt, wird für die Indexierung nicht berücksichtigt.

Die Google-Crawler kommen vor allem von IP-Adressen in den USA und nutzen standardmäßig HTTP/1.1. Sie können auch über HTTP/2 crawlen. Das spart Ressourcen, bringt laut Google aber keinen Vorteil im Ranking.

Der User Agent lässt sich fälschen, und viele Crawler geben sich als Googlebot aus. Google beschreibt zwei Wege, einen echten Besuch zu erkennen: - Reverse DNS: Man sucht den Hostnamen zur IP der Anfrage, prüft, ob er auf googlebot.com, google.com oder googleusercontent.com endet, und löst diesen Namen wieder auf, um zu bestätigen, dass dieselbe IP herauskommt. Bei den allgemeinen Crawlern folgt der Name dem Muster crawl-…googlebot.com oder geo-crawl-…geo.googlebot.com. - IP-Bereiche: Man gleicht die IP mit den JSON-Listen ab, die Google veröffentlicht. Die Liste der allgemeinen Crawler heißt common-crawlers.json. Die alte Adresse googlebot.json leitet dorthin weiter (geprüft am 17.10.2026).

Für einzelne Prüfungen genügt Reverse DNS. Bei vielen IPs empfiehlt Google den automatischen Abgleich mit den Listen. Das Crawling allgemein und seine Auswertung haben einen eigenen Eintrag in diesem Glossar.

Wer Googlebot sperrt, betrifft die Google-Suche einschließlich Discover und weitere Produkte wie Google Bilder, den Videomodus und Google News. Eine Sperre in der robots.txt verhindert das Crawlen, aber nicht die Indexierung: Die URL kann weiter in den Ergebnissen erscheinen. Soll eine Seite nicht indexiert werden, nennt Google noindex. Soll niemand darauf zugreifen, weder Crawler noch Nutzer, eine andere Maßnahme wie einen Passwortschutz.

Überlastet Googlebot den Server, empfiehlt Google, für kurze Zeit, einige Stunden oder ein bis zwei Tage, statt 200 einen Statuscode 500, 503 oder 429 auszuliefern. Das Crawling sinkt dann für den ganzen Hostnamen. Halten die Fehler bei derselben URL mehrere Tage an, kann Google sie aus dem Index nehmen.

Bevor Sie einen angeblichen Googlebot sperren, sollten Sie ihn prüfen. Google warnt, dass sein User Agent häufig gefälscht wird, und wer versehentlich die echten IPs sperrt, nimmt die Website aus dem Crawling.

• Jeden Besuch, der sich als Googlebot ausgibt, per Reverse DNS oder common-crawlers.json prüfen, bevor Sie ihn sperren oder aus den Logs Schlüsse ziehen.
• Der mobilen Version denselben Inhalt geben wie der Desktop-Version, weil die meisten Anfragen von Googlebot Smartphone kommen.
• HTML und jede benötigte Ressource unkomprimiert unter 2 MB halten, weil Googlebot alles darüber nicht berücksichtigt.
• Noindex und nicht die robots.txt nutzen, wenn eine Seite nicht bei Google erscheinen soll.
• ETag in den Antworten senden: Google empfiehlt ETag gegenüber Last-Modified für das HTTP-Caching seiner Crawler.

• Dem User Agent vertrauen: Jeder kann „Googlebot“ in eine Anfrage schreiben.
• Versuchen, Googlebot Smartphone und Googlebot Desktop in der robots.txt zu trennen, obwohl beide demselben Token folgen.
• Eine Seite in der robots.txt sperren, um sie aus den Ergebnissen zu nehmen.
• Tagelang 503 ausliefern, um das Crawling zu bremsen, mit dem Risiko, dass Google die URLs entfernt.
• Annehmen, alle Google-Crawler folgten der robots.txt gleich: Crawler für Sonderfälle tun es nicht unbedingt, vom Nutzer ausgelöste Fetcher gar nicht.