Was ist das X-Robots-Tag?

Das X-Robots-Tag ist ein Feld der HTTP-Antwort, mit dem ein Server den Suchmaschinen sagt, was sie mit der eben angeforderten Datei tun dürfen: indexieren oder nicht, ihren Verweisen folgen oder nicht, eine Kopie behalten oder nicht. Es ist dasselbe Gespräch wie bei der Angabe Meta-Robots, nur an einem anderen Ort.

Dieser andere Ort macht den ganzen Unterschied. Die Meta-Angabe steht im HTML, es gibt sie also nur, wenn es HTML gibt. Der Header reist der Datei voraus, gleich welcher Art sie ist, und ist damit der einzige Weg zu einem PDF, einem Bild oder einer Datei zum Herunterladen.

Von der anderen Anweisung, mit der es verwechselt wird, trennt man es am besten sofort. Die robots.txt regelt, ob der Crawler die Datei anfordern darf; das X-Robots-Tag regelt, was er danach damit macht. Zwei verschiedene Zeitpunkte, und diese Unterscheidung erklärt fast alle Fehler weiter unten.

Das X- im Namen erinnert daran, dass es als Vorschlag außerhalb des Standards entstand, wie so vieles aus den frühen Jahren des Web. Heute halten sich die großen Suchmaschinen daran, es bleibt aber eine Bitte und keine Anordnung: Ein beliebiges Programm darf sie ignorieren, ohne gegen etwas zu verstoßen.

Daraus folgt etwas, das man vor dem Weiterlesen klar haben sollte. Alles, was dieser Header bewirkt, geschieht auf der Seite des Lesenden, nicht auf der der Datei. Er verschlüsselt sie nicht, verschiebt sie nicht, löscht sie nicht: Er ändert nur, was eine Suchmaschine mit einer Kopie tut, die sie ohnehin schon vor sich hat.

Die praktische Frage ist nicht, welche der beiden Anweisungen besser ist, sondern welche die Datei überhaupt erreicht, die man steuern will. Auf einer normalen Seite wirken beide, die Wahl ist eine Frage der Bequemlichkeit. Sobald die Datei kein HTML mehr ist, bleibt nur eine.

Der Fall, der in Prüfungen zum technischen SEO am häufigsten auftaucht, sind PDF: alte Kataloge, Preislisten von vor drei Jahren, Handbücher, die niemand pflegt. Sie sind indexiert, erscheinen mit eigenem Titel in den Ergebnissen und konkurrieren mit den Seiten, die gepflegt werden. Ein Tag lässt sich in sie nicht hineinschreiben, die Steuerung läuft also zwingend über den Header.

Bei Bildern ist es ähnlich, die Wirkung aber eine andere: Ein Bild aus dem Index zu nehmen nimmt nicht die Seite mit, auf der es steht, es erscheint nur nicht mehr in der Bildersuche. Und eine Klarstellung, die Schrecken erspart: Der Header schützt oder versteckt eine Datei nicht, sie bleibt für jeden erreichbar, der die URL hat.

Eine vierte Gruppe von Dateien fällt kaum jemandem ein, bis sie im Bericht steht: Tabellen, Textdokumente und Archive, die man „vorübergehend“ hochlädt, um sie einem Kunden zu schicken. Sie bleiben liegen, der Crawler findet sie über einen vergessenen Verweis, und am Ende stehen sie mit dem Dateinamen als Titel im Index.

Es lohnt der Blick aus der Sicht des Crawl-Budgets: Jede dieser Dateien wird angefordert und verarbeitet wie jede andere URL. Auf einer kleinen Website fällt das nicht auf; auf einer mit tausenden Dokumenten ist das Crawling, das dort hineingeht, Crawling, das die wichtigen Seiten nicht erreicht — nachzusehen in den Berichten der Search Console.

Die Anweisungen sind dieselben, die auch die Meta-Angabe versteht, und man sollte sie kennen, weil der Unterschied zwischen zweien davon sehr verschiedene Ergebnisse bringt. noindex nimmt die URL aus den Ergebnissen; nofollow sagt der Suchmaschine, den enthaltenen Verweisen nicht zu folgen, was auf die interne Verlinkung wirkt und nicht aus Gewohnheit gesetzt gehört.

Dann folgen die, die das Aussehen des Treffers in der SERP steuern: nosnippet unterdrückt den Textauszug, max-snippet begrenzt ihn, noarchive verhindert die zwischengespeicherte Kopie und noimageindex lässt die Bilder dieser Seite außen vor. Kombiniert werden sie durch Kommas getrennt in einer Zeile.

Zwei weitere werden selten gebraucht und lösen bestimmte Fälle: unavailable_after mit einem Datum, gedacht für Inhalte mit Ablauf wie eine Kampagnenseite oder eine Veranstaltung, und none, das noindex, nofollow zugleich bedeutet. Die Anweisung lässt sich außerdem an eine bestimmte Suchmaschine richten, indem man ihren Namen voranstellt — nützlich, wenn eine davon anders behandelt werden soll.

Zwei dieser Anweisungen verdienen eine Warnung, weil sie leichtfertiger gesetzt werden, als sie sollten. nosnippet nimmt den Textauszug aus dem Ergebnis, und ein Treffer ohne Beschreibung bekommt weniger Klicks: Die Klickrate sinkt, auch wenn sich die Position nicht bewegt. Sinnvoll bei bezahlten oder heiklen Inhalten, nicht als allgemeine Regel.

Die zweite ist noarchive, die die gespeicherte Kopie verhindert. Das klingt harmlos, doch diese Kopie ist das, was manche Nutzer aufrufen, wenn die Seite nicht antwortet, und ebenso ein Teil des Materials, mit dem zusammenfassende Systeme arbeiten. Vor dem Setzen sollte man wissen, worauf man verzichtet — wie bei Indexierungs-Entscheidungen überhaupt.

Eingestellt wird es am Webserver oder in der Anwendung, die antwortet, nicht am Inhalt. In Apache und Nginx kommt eine Regel dazu, die den Header auf ein Dateimuster anwendet; in einem CMS gibt es meist eine Einstellung je Inhaltsart, und in einer eigenen Anwendung setzt man ihn wie jeden anderen Header.

Die Prüfung ist der Schritt, der am häufigsten ausgelassen wird, und der einzige, der etwas beweist. Fordere die URL an und sieh dir die Header der Antwort an, nicht die gerenderte Seite: Die Anweisung ist weder am Bildschirm noch im Quelltext zu sehen. Jedes Werkzeug, das die HTTP-Antwort zeigt, genügt, und die URL-Prüfung der Search Console zeigt zusätzlich, wie Google sie gelesen hat.

Und geprüft wird an der echten Datei, nicht an einer Beispielseite. Musterregeln scheitern genau an den Rändern: eine Endung in Großbuchstaben, ein Ordner, der herausfiel, eine Datei von einer anderen Subdomain mit eigenem Zertifikat mit eigener Konfiguration.

Eine Warnung dazu, wo die Regel steht: Liegt ein Auslieferungsnetz oder eine Zwischenspeicherschicht davor, muss der Header diesen Schritt überleben. Manche Konfigurationen reichen nur eine Auswahl bekannter Header weiter und verwerfen den Rest — die Regel existiert dann am Ursprungsserver und erreicht den Crawler nie. Geprüft wird an der öffentlichen URL, nicht an der internen.

Und eine zur Reihenfolge der Prüfungen. Bevor man den Header ansieht, gehört sichergestellt, dass die URL 200 antwortet und keine 301: Eine Weiterleitung nimmt das ganze Gespräch mit, denn es zählen die Header des Endziels, nicht die des Sprungs. Derselbe Fehlgriff lässt glauben, eine Regel wirke nicht, während man in Wahrheit die falsche Antwort betrachtet.

Der erste ist der klassische und gehört ohne Umschweife gesagt: die URL in der robots.txt sperren und gleichzeitig noindex in den Header setzen. Die Sperre verhindert die Anfrage, der Header wird also nie gelesen, und die Seite kann weiter erscheinen. Wer etwas aus dem Index nehmen will, muss es crawlen lassen.

Der zweite ist, sie stehen zu lassen. Eine Regel aus einer Migration oder einer Testumgebung, die nach Produktion mitkopiert wird, hält ganze Bereiche wochenlang unbemerkt aus dem Index; der Rückgang beim Traffic wird dann irgendetwas anderem zugeschrieben.

Und der dritte, feinere: sie dort einsetzen, wo das Problem ein anderes ist. Eine Seite, die es nicht geben sollte und die als Soft 404 oder als Thin Content endet, repariert man nicht mit noindex, sondern indem man aufhört, sie zu erzeugen. Der Header ist eine Anweisung an Suchmaschinen, kein Aufräumen der Struktur.

Ein vierter Fehler steckt nicht in der Konfiguration, sondern in der Erwartung: die Wirkung von heute auf morgen zu erwarten. Die Anweisung greift erst, wenn die Suchmaschine die Datei erneut anfordert, und bei einer selten besuchten URL kann das Wochen dauern. Ein Index, der sich nach achtundvierzig Stunden nicht geleert hat, heißt nicht, dass die Regel versagt, sondern dass noch nicht nachgesehen wurde.

Und eine Empfehlung, die Diskussionen erspart: schriftlich festhalten, welche Regel wo und warum gesetzt wurde. Diese Header werden einmal konfiguriert und zwei Jahre später gelesen, wenn niemand mehr da ist, der sie gesetzt hat, und sich keiner traut, sie zu entfernen. Eine Kommentarzeile neben der Regel verhindert, dass aus einer begründeten Entscheidung ein Aberglaube wird.