Was sind KI-Crawler

Das Etikett fasst Verschiedenes zusammen, und genau da beginnt das Problem. Ein KI-Crawler ist keine technische Kategorie: Es ist jeder automatische Agent, den ein Unternehmen für Sprachmodelle betreibt. Was sie voneinander unterscheidet, ist nicht die Technik, sondern der Zweck, und dieser Zweck bestimmt, was passiert, wenn du sperrst. Ein einziger Anbieter betreibt dabei oft drei Agenten mit drei verschiedenen Zwecken.

Es gibt drei Zwecke, und man sollte sie getrennt benennen. Der erste ist das Training: Text abrufen, um künftige Modelle zu speisen. Der zweite ist der eigene Suchindex, jener, der einem Assistenten erlaubt, beim Antworten Links zurückzugeben. Der dritte ist der Live-Abruf, wenn der Nutzer eine URL einfügt oder etwas fragt, das den Assistenten zwingt, die Seite in genau diesem Moment zu holen.

Jeder Anbieter nutzt für jeden Zweck einen eigenen Agenten und dokumentiert sie getrennt. OpenAI trennt GPTBot, OAI-SearchBot und ChatGPT-User. Anthropic trennt ClaudeBot, Claude-SearchBot und Claude-User. Perplexity trennt PerplexityBot und Perplexity-User. Google bricht das Schema: Es hat in dieser Liste gar keinen eigenen Agenten. Es crawlt mit Googlebot und bietet Google-Extended als Steuerungs-Token an, nicht als Bot. Google dokumentiert, dass es keine eigene User-Agent-Zeichenkette besitzt und der Abruf weiterhin über die bestehenden Google-Agenten läuft, weshalb dieser Name nie in einem Zugriffsprotokoll auftauchen wird. Es entscheidet allein, ob bereits gecrawlte Inhalte für Training und Grounding von Gemini verwendet werden dürfen.

All das als einen Block zu behandeln, mit einer einzigen Regel, die alle zudeckt, ist die Ursache der meisten Fehlentscheidungen auf diesem Feld.

Die Steuerung läuft über die altbekannte Datei: robots.txt im Wurzelverzeichnis der Domain, mit einem Block pro Agent. Der Name, der hinter User-agent steht, ist das Token, das jeder Anbieter veröffentlicht, und eine Regel für ein Token wirkt nicht auf die anderen.

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Jede Zeile bewirkt etwas Bestimmtes. GPTBot zu sperren signalisiert laut OpenAI-Dokumentation, dass der Inhalt nicht zum Training generativer Modelle verwendet werden soll. OAI-SearchBot zu erlauben ist der von OpenAI empfohlene Weg, damit die Website in den Antworten von ChatGPT mit Links auftauchen kann; Änderungen an robots.txt brauchen dort etwa 24 Stunden, bis sie wirken. Google-Extended zu sperren nimmt den Inhalt aus Training und Grounding von Gemini heraus, und Google dokumentiert, dass dieses Token weder die Aufnahme in die Suche noch das Ranking berührt; dabei ist zu bedenken, dass die Regel hier keinen Abruf stoppt, weil das Token keine eigenen Anfragen sendet. Anthropic akzeptiert für ClaudeBot zusätzlich Crawl-delay und veröffentlicht seine IP-Bereiche zur Prüfung von Anfragen.

Es gibt eine Ausnahme, die das Schema bricht. Perplexity dokumentiert, dass sein Agent Perplexity-User, der bei einer Nutzerfrage tätig wird, die Regeln aus robots.txt in der Regel ignoriert, weil die Anfrage von einem Menschen ausgehe. OpenAI verwendet für ChatGPT-User eine ähnliche Formulierung: Da es sich um vom Nutzer ausgelöste Aktionen handele, könnten die Regeln aus robots.txt nicht greifen. Eine Sperrdirektive stoppt also das systematische Crawling, garantiert aber nicht, dass niemand die Seite live abruft.

Die Entscheidung, die daran hängt, hat zwei Seiten, und wer nur eine erzählt, verkauft etwas. Die Trainingsagenten zu sperren nimmt die Website aus dem Material, aus dem künftige Modelle gebaut werden. Die Indexagenten zu sperren bewirkt etwas anderes: Es nimmt die Website aus der Menge der Seiten, die der Assistent beim Antworten zitieren und verlinken kann. Man kann das Erste wollen, ohne das Zweite zu wollen, und genau diese Trennung ermöglicht die Dokumentation jedes Anbieters.

Ein Medium mit Bezahlinhalten oder ein Verlag, der Lizenzen verhandelt, hat Gründe, das Training zu schließen. Ein Shop oder ein Dienstleister, der in den Antworten zitiert werden will, hat beim Index meist das umgekehrte Interesse. Die teuerste falsche Regel ist die, die per Platzhalter alles sperrt, was mit dem Namen des Anbieters beginnt, und dabei den Suchcrawler mit aussperrt.

Bleibt ein dritter Faktor, der Ressourcenverbrauch. Auf großen Websites summieren sich diese Anfragen und können die Bandbreite verteuern, ohne Besuche zu bringen. Das misst man vor der Entscheidung in den Zugriffslogs des Servers, statt es aus dem Gedächtnis zu schätzen. Das Gespräch darüber, was gesperrt wird, beginnt mit dem Wissen, wer auf deiner Domain was anfragt und in welchem Umfang. Erst danach lohnt die Frage, welche Zeile in robots.txt überhaupt sinnvoll ist.

• Schreibe je Token und je Zweck einen eigenen robots.txt-Block; vermeide Platzhalter, die den Trainingsagenten mit dem Suchagenten verwechseln.
• Filtere vor jeder Sperre dreißig Tage Zugriffslogs nach jedem Token und rechne Anfragen, ausgelieferte Bytes und betroffene Seiten aus.
• Prüfe die Identität des Agenten gegen die IP-Bereichslisten der Anbieter; das Feld User-Agent schreibt derjenige, der die Anfrage schickt, und es ist in einer Sekunde gefälscht.
• Halte Entscheidung und Begründung mit Datum neben der Datei fest, damit derjenige, der sie in einem Jahr prüft, weiß, was erreicht werden sollte.
• Wenn du eine Sperre brauchst, die nicht vom guten Willen des Agenten abhängt, setze sie auf dem Server oder beim CDN-Anbieter um, nicht nur in robots.txt.
• Prüfe die Datei jedes Quartal: Die Anbieter ergänzen neue Token, und eine vor zwei Jahren geschriebene Regel deckt nicht mehr, was du glaubst.

• Mit Platzhalter-User-agent und komplettem Disallow die KI bremsen wollen, womit die Website auch aus den klassischen Suchmaschinen fällt.
• Google-Extended sperren in der Erwartung, aus AI Overviews zu verschwinden. Dieses Token deckt Training und Grounding von Gemini ab, während sich die Antworten der Suche aus dem Index speisen, den Googlebot füllt. Für diese Oberflächen kündigte Google am 3. Juni 2026 eine eigene Einstellung in der Search Console an.
• Voraussetzen, dass robots.txt den Live-Abruf stoppt, obwohl Perplexity und OpenAI dokumentieren, dass ihre Nutzeragenten diese Regeln womöglich nicht anwenden.
• Traffic allein am Namen des Agenten festmachen, ohne die Quell-IP gegen die Liste des Anbieters zu prüfen.
• Eine in einem Forum gefundene Sperrliste übernehmen, mit veralteten oder erfundenen Token, und sie nie wieder überprüfen.