Was ist ein KI-Agent?

Wenn eine Person ChatGPT, Claude oder ein Google-Produkt bittet, Preise zu vergleichen, etwas zu buchen oder ein Formular auszufüllen, kann der Assistent in genau diesem Moment eine oder mehrere Webseiten aufrufen, um die Aufgabe zu erledigen. Diesen Aufruf übernimmt eine namentlich benannte Komponente: OpenAI nennt sie ChatGPT-User, Anthropic Claude-User und Google Google-Agent. Alle drei sind von ihren Anbietern offiziell dokumentiert, mit einer eigenen User-Agent-Kennung.

Das unterscheidet sich von einem KI-Crawler wie GPTBot, ClaudeBot oder PerplexityBot. Ein Crawler durchsucht die Seite automatisch und fortlaufend, ohne dass in diesem Moment eine Person auf das Ergebnis wartet, und das gesammelte Material dient dem Training eines Modells oder dem Aufbau eines Suchindex. Ein Agent macht das genaue Gegenteil: Er wird einmalig aktiv, auf ausdrückliche Anfrage einer konkreten Person, und das Ergebnis dieses Aufrufs fließt direkt zurück in das Gespräch dieser Person.

Die Grenze ist wichtig für jeden, der eine Website betreibt. Einen Trainings-Crawler zu blockieren betrifft, ob Inhalte künftig zitiert werden. Einen Agenten zu blockieren betrifft, ob ein realer Kunde gerade jetzt einen Kauf oder eine Buchung abschließen kann, die er bereits begonnen hatte. Trainings- und Indexierungs-Crawler hatten ihre eigene Blockierpolitik schon, bevor es Agenten gab; diese fügen eine dritte Kategorie hinzu, die der Echtzeit-Handlung im Auftrag einer konkreten Person, die es noch nicht gab, als diese ersten Politiken geschrieben wurden.

Der Ablauf beginnt immer mit einer Person: Sie bittet den Assistenten, Produkte zu vergleichen, Verfügbarkeit zu prüfen oder einen Vorgang abzuschließen. Das Modell entscheidet, dass es aktuelle Daten von einer konkreten URL braucht, und der Server des Anbieters stellt eine HTTP-Anfrage an diese Seite, gekennzeichnet mit dem entsprechenden User-Agent. Diese Anfrage ist nicht Teil einer geplanten Crawling-Warteschlange, sie existiert, weil ein konkreter Nutzer sie in diesem Moment ausgelöst hat, für genau diese eine Aufgabe und kein anderes Ziel.

Die drei Anbieter dokumentieren das Verhalten gegenüber robots.txt unterschiedlich. OpenAI schreibt ausdrücklich über ChatGPT-User: "ChatGPT-User is not used for crawling the web in an automatic fashion. Because these actions are initiated by a user, robots.txt rules may not apply". Anthropic dagegen beschreibt Claude-User als Agenten, der sich genauso blockieren lässt wie die übrigen Bots des Unternehmens, mit derselben robots.txt-Regel, die auch bei einem Crawler greifen würde. Google ordnet Google-Agent als "user-triggered fetcher" ein, eine eigene Kategorie neben Googlebot, und die Dokumentation legt nicht mit derselben Klarheit wie bei Anthropic fest, ob diese Kategorie robots.txt genauso respektiert wie die üblichen Crawler von Google.

Dieser Unterschied zwischen den Anbietern ist der Grund, warum es sich nicht empfiehlt, "die KI-Agenten" als einen einheitlichen Block zu behandeln. Eine robots.txt-Regel, die Claude-User erfolgreich blockiert, muss laut OpenAIs eigener Dokumentation nicht dieselbe Wirkung auf ChatGPT-User haben. In der Praxis bedeutet das, die Dokumentation jedes Anbieters einzeln zu prüfen, statt anzunehmen, eine einzige Regel oder ein einziges Blockier-Plugin decke alle drei Agenten gleichermaßen ab.

Die Entscheidung, die davon abhängt, ist, ob diese Agenten in der Firewall oder im Bot-Management blockiert werden sollen, und nach welchem Kriterium. Wahllos "alles, was nach KI klingt" zu blockieren, hat Kosten, die nicht immer sichtbar sind: Handelt ein Agent im Auftrag eines realen Kunden, der auf der Website gerade etwas kaufen oder buchen will, verhindert diese Blockade nicht das Training eines Modells, sondern einen Verkauf, der bereits im Gange war.

Das betrifft auch die Messung. Ein Server, der Agenten-Sitzungen nicht von normalen Browser-Sitzungen unterscheidet, kann diese Besuche als gewöhnlichen menschlichen Traffic zählen, oder sie ganz verlieren, wenn der Agent nicht dasselbe JavaScript ausführt wie ein Browser. Keines von beidem liefert ein korrektes Bild davon, wie viele Besuche und Conversions tatsächlich von einem im Auftrag eines Nutzers handelnden Agenten stammen.

Ein konkretes Beispiel: Ein Reisebüro, das pauschal jeden User-Agent mit "GPT" oder "Claude" im Namen blockiert, blockiert damit möglicherweise, ohne es zu wissen, einen Kunden, der seinen Assistenten gebeten hat, ein bereits ausgewähltes Zimmer fertig zu buchen. Die Buchung kommt nicht zustande, und in den Logs des Hotels erscheint dieser Besuch nur als eine weitere blockierte Anfrage, ohne jeden Hinweis darauf, dass dahinter ein realer, laufender Verkauf steckte. Niemand im Reisebüro bekommt eine Warnung, dass dort gerade eine Buchung verlorenging, weil eine blockierte Anfrage im Log genauso aussieht wie jede andere blockierte Anfrage.

• Unterscheide in robots.txt und im Bot-Management die Trainings-Crawler (GPTBot, ClaudeBot) von den Nutzer-Agenten (ChatGPT-User, Claude-User, Google-Agent).
• Blockiere Nutzer-Agenten nicht standardmäßig, wenn ein Teil deines Geschäfts davon abhängt, dass ein Kunde einen Kauf oder eine Buchung über sie abschließt.
• Prüfe die User-Agent-Kennung gegen die offizielle Dokumentation jedes Anbieters, bevor du eine Blockier-Entscheidung triffst, denn es gibt Traffic, der sich fälschlich als Agent ausgibt.
• Sieh die Server-Logs durch, um zu wissen, wie viele Agenten-Besuche deine Website erhält und auf welchen konkreten Seiten.
• Stelle sicher, dass Checkout und Formulare nicht auf komplexes JavaScript angewiesen sind, weil nicht jeder Agent es genauso ausführt wie ein Browser.
• Aktualisiere die Liste erlaubter Agenten alle paar Monate: Die Zahl der Anbieter mit einem eigenen Agenten wächst weiter.

• Alles, was nach KI klingt, pauschal in der Firewall blockieren und dabei Verkäufe verlieren, die ein Agent gerade im Auftrag eines realen Kunden abschloss.
• Einen Nutzer-Agenten mit einem Trainings-Crawler verwechseln und dieselbe Blockier-Politik darauf anwenden.
• Davon ausgehen, dass alle Agenten robots.txt gleich respektieren, obwohl OpenAI ausdrücklich sagt, dass es für ChatGPT-User nicht gelten muss.
• Die User-Agent-Kennung nicht prüfen, wodurch sich gefälschter Traffic als legitimer Agent ausgeben kann.
• Conversions messen, ohne Agenten-Sitzungen vom Rest zu trennen, was ihren tatsächlichen Einfluss aufbläht oder verschleiert.