Was ist Google-Extended

Die erste Verwechslung, die man ausräumen sollte, betrifft die Kategorie. Google-Extended lädt keine Seiten herunter. Es gibt keinen Bot dieses Namens, der das Web durchläuft, und in den Server-Logs wird nie eine Zeile mit dieser Zeichenkette auftauchen. Wer herunterlädt, ist weiterhin der Googlebot, mit unverändertem Verhalten. Die Kennung regelt die spätere Verwendung von Inhalten, die Google bereits im Index hat.

Dieser Unterschied erklärt, warum die Regel in der robots.txt steht, obwohl sie kein Crawling regelt. Die Datei dient hier als Ort, an dem der Betreiber eine Präferenz festhält, und Google zieht sie heran, wenn es entscheidet, ob dieses Material bestimmte generative Produkte speisen darf. Die Google-Dokumentation hält den feinen Unterschied selbst fest: Die Kennung wird in einer Kontrollfunktion verwendet, nicht als Anfrage.

Die Kontrolle erschien am 28. September 2023, als die betroffenen Produkte noch Bard und Vertex AI hießen. Die Produktnamen wechselten später zur Gemini-Familie, die Kennung behielt jedoch ihren eigenen, weshalb sie heute wenig aussagekräftig wirkt. Man liest sie am besten als «erweiterte Nutzung des bereits Gecrawlten» und nicht als «zweiter Google-Crawler», denn aus dieser falschen Lesart entstehen fast alle fehlerhaften Regeln, die man in der Praxis sieht.

Die Kennung deckt zwei konkrete Nutzungen ab. Die erste ist das Training künftiger Generationen von Gemini-Modellen, einschließlich derer, die die Gemini-Apps und die Vertex AI API speisen. Die zweite ist die Quellenbindung, also die Übergabe von Inhalten aus dem Suchindex an das Modell in dem Moment, in dem jemand innerhalb dieser Produkte eine Frage stellt. Eine Regel Disallow: / unter der Kennung nimmt die Website aus beiden Nutzungen gleichzeitig heraus, ohne Möglichkeit, sie zu trennen.

Außerhalb des Geltungsbereichs bleibt genau das, wonach Kunden fragen. Die generativen Antworten innerhalb der Suche, sowohl AI Overviews als auch AI Mode, werden aus dem gewöhnlichen Index gebaut, den der Googlebot füllt, und gehorchen dieser Regel deshalb nicht. Google sagt es ohne Umschweife: Die Kennung wirkt sich weder auf die Aufnahme der Website in die Suche aus noch dient sie als Ranking-Signal.

Fast drei Jahre lang war die Folge unangenehm. Wer aus den generativen Antworten der Suche heraus wollte, konnte das nur erreichen, indem er den Googlebot einschränkte oder die Snippets mit nosnippet, data-nosnippet und max-snippet begrenzte, Maßnahmen, die man mit klassischer Sichtbarkeit bezahlt. Am 3. Juni 2026 kündigte Google eine eigene Einstellung in der Search Console an, unter Einstellungen, mit dem Namen «Search generative AI control». Sie bietet zwei Optionen für die Property, einschließen oder ausschließen, wobei das Einschließen der Standardwert ist, und erlaubt es, die Website aus AI Overviews, AI Mode und den generativen Funktionen von Discover zu nehmen, ohne ihre Position in der Suche anzutasten. Der Rollout begann bei einer kleinen Gruppe von Properties im Vereinigten Königreich, bevor er auf die übrigen ausgeweitet wurde.

Die Entscheidung, die von dieser Kennung abhängt, ist enger, als ihr Ruf vermuten lässt. Sie zu blockieren dient einem einzigen Zweck: zu verhindern, dass die eigenen Inhalte in die Gemini-Modelle und in die Antworten einfließen, die diese Modelle in den Google-Anwendungen erzeugen. Es ist eine Entscheidung über die Nutzung des Inhalts, nah an Lizenz und Urheberrecht, und kein Sichtbarkeitshebel.

Wer sie blockiert in der Erwartung, aus den generativen Antworten der Suche zu verschwinden, erreicht nichts und verzichtet im Gegenzug darauf, dass die Marke auf der Gemini-Oberfläche zitiert und verlinkt wird. Die Kosten werden voll bezahlt und das Ziel wird nicht erreicht. Dieses Missverständnis ist der Hauptgrund, warum ein Kunde nach dieser Kennung fragt, und es verdient eine klare Antwort, bevor jemand die Datei anfasst.

Für ein Medienhaus mit lizenzierbaren Inhalten ändert sich die Lesart. Dort wirkt die Blockade als Verhandlungsposition, und mehrere Verlage halten sie aufrecht, während sie über Nutzungsvereinbarungen verhandeln. Für ein Unternehmen, das von Nachfrage lebt, lautet die übliche Antwort dagegen: erlauben und die Zitierfähigkeit der Seiten bearbeiten.

Seit Juni 2026 gibt es zusätzlich einen zweiten Hebel, unabhängig vom ersten. Beide entscheidet man am besten getrennt, denn sie beantworten verschiedene Fragen: die eine, wer den Inhalt nutzen darf, die andere, wo er erscheint.

• Eine eigene Gruppe mit exakt geschriebener Kennung deklarieren, ohne Wildcards aus anderen Blöcken der Datei zu erben und ohne Vermischung mit den Googlebot-Regeln.
• Die zwei Fragen getrennt entscheiden: die Nutzung des Inhalts in den Modellen, die in der robots.txt geregelt wird, und die Präsenz in den generativen Antworten der Suche, die in der Search Console geregelt wird.
• Nicht nach Zugriffen der Kennung in den Server-Logs suchen. Die Regel prüft man, indem man die veröffentlichte Datei liest und den robots.txt-Tester benutzt, niemals über eine Logfile-Analyse.
• Datum und Grund der Entscheidung schriftlich festhalten, denn die Produktnamen von Google haben sich bei genau dieser Kennung schon einmal geändert.
• Die Search-Console-Einstellung prüfen, sobald sie in der Property ankommt, da der Rollout schrittweise erfolgt und noch nicht alle Konten sie haben.
• Vor jeder Blockade messen, welcher Traffic und welche Erwähnungen heute von KI-Oberflächen kommen, um den tatsächlichen Preis des Verzichts zu kennen.

• Die Kennung blockieren in der Absicht, aus AI Overviews herauszukommen. Diese Antworten speisen sich aus dem gewöhnlichen Index und bleiben nach der Änderung unverändert.
• Annehmen, die Regel betreffe auch OpenAI, Anthropic oder Perplexity. Jeder Anbieter hat eigene Agenten und eigene Regeln.
• Daraus schließen, die Regel funktioniere nicht, weil die Kennung nicht in den Logs auftaucht. Sie wird dort nie auftauchen, weil sie keine Anfragen sendet.
• Einen fremden robots.txt-Block kopieren, der eine weite Wildcard enthält und am Ende auch den Googlebot einschränkt.
• Den Ausschluss in der Search Console mit einem noindex verwechseln. Ersterer nimmt die Website aus den generativen Antworten und lässt die klassische Suche unberührt.