Was ist robots.txt?

Die Datei liegt immer an derselben Stelle: im Root der Domain, erreichbar unter https://deinedomain.de/robots.txt. Ein Crawler, der die Regeln respektiert, ruft sie vor jeder anderen URL der Website ab, deshalb muss sie ohne Weiterleitung und ohne Sperre erreichbar sein.

Jeder Regelblock beginnt mit User-agent, das festlegt, für welchen Crawler das Folgende gilt: ein konkreter Name wie Googlebot, oder ein Sternchen für alle. Danach kommen die eigentlichen Direktiven. Disallow sperrt einen Pfad oder ein ganzes Verzeichnis; eine leere Zeile hinter Disallow, ohne Pfad dahinter, sperrt gar nichts. Allow macht das Gegenteil und dient vor allem dazu, innerhalb eines gesperrten Verzeichnisses eine Ausnahme zu öffnen, eine einzelne Datei, die trotz gesperrtem Ordner gecrawlt werden soll. Die optionale Direktive Sitemap mit der vollständigen URL sagt dem Crawler, wo er die Sitemap findet; sie lässt sich mehrfach wiederholen, wenn es mehrere Sitemaps gibt.

Zwei Wildcards erweitern, was sich mit wenigen Zeilen ausdrücken lässt: der Stern (*) steht für eine beliebige Zeichenfolge innerhalb eines Pfads, das Dollarzeichen ($) markiert das exakte Ende einer URL. Kombiniert lassen sich damit etwa alle URLs sperren, die auf einen bestimmten Parameter enden, ohne sie einzeln aufzulisten.

User-agent: *
Disallow: /admin/
Disallow: /warenkorb/
Disallow: /*?filter=
Allow: /wp-content/uploads/

User-agent: Googlebot-Image
Disallow: /private-fotos/

Sitemap: https://deinedomain.de/sitemap.xml

Wenn mehrere Regeln im selben Block dieselbe URL betreffen, wendet Google die spezifischere an, die mit dem längeren Pfad, nicht die zuerst genannte in der Datei. Das erklärt, warum ein einzelnes Allow neben einem breiteren Disallow im selben Block bestehen kann, ohne sich zu widersprechen.

Pfade bei Disallow und Allow unterscheiden Groß- und Kleinschreibung, /Admin/ und /admin/ sind für den Crawler zwei verschiedene Regeln, auch wenn der Server sie technisch auf dasselbe Verzeichnis abbildet. Zeilen, die mit einer Raute (#) beginnen, sind Kommentare, der Crawler ignoriert sie vollständig, praktisch, um festzuhalten, warum eine bestimmte Regel existiert, ohne das Verhalten der Datei zu ändern.

Hier liegt der am häufigsten wiederholte Irrtum im gesamten technischen SEO: robots.txt entscheidet nicht darüber, was im Google-Index landet. Sie entscheidet nur, was der Crawler überhaupt besuchen darf. Das sind zwei getrennte Phasen desselben Prozesses, und wer sie verwechselt, erlebt Ergebnisse, die auf den ersten Blick widersprüchlich wirken, wenn man den Mechanismus dahinter nicht kennt.

Ein konkretes Beispiel macht das greifbar. Wird eine URL per Disallow gesperrt und erhält diese URL trotzdem einen Link von einer anderen Website, kann Google sie allein aufgrund dieses externen Links indexieren, ohne ihren Inhalt jemals heruntergeladen zu haben. Das Ergebnis in der Suche ist ein merkwürdiger Eintrag: die nackte URL, ohne Titel, ohne Beschreibung, manchmal mit dem Hinweis „für diese Seite sind keine Informationen verfügbar". Das passiert genau deshalb, weil der Crawler nie hineingelesen hat, und folglich auch keine Direktive lesen konnte, die dort stand, nicht einmal ein noindex-Tag, das die Seite eigentlich aus dem Index nehmen sollte.

Genau in dieser Falle landen viele Websites: Eine Seite, die zusätzlich noindex trägt, über robots.txt zu sperren, nimmt sie nicht aus dem Index, sondern erzeugt das schlechteste der beiden Szenarien, in dem keine der beiden Direktiven wirklich greift. Damit noindex funktioniert, muss der Crawler hineinkommen und es lesen können, was genau das Gegenteil einer Sperrung verlangt. Der Artikel zu noindex behandelt diese Direktive im Detail, mit ihren beiden technischen Varianten und wann welche zum Einsatz kommt; hier reicht die praktische Faustregel: robots.txt steuert den Zugriff des Crawlers, noindex steuert die Aufnahme in den Index, und wer eine URL zuverlässig ausschließen will, braucht Letzteres, nicht Ersteres.

Die Verwechslung entsteht meist, weil beide Mechanismen im selben Moment eingerichtet werden, beim technischen Relaunch oder beim Aufräumen einer Website, und weil sie sich oberflächlich ähnlich anfühlen: eine Regel, eine Datei, ein Effekt auf die Sichtbarkeit. In Wirklichkeit sitzen sie an zwei verschiedenen Stellen der Kette. robots.txt entscheidet am Anfang, ob der Crawler überhaupt anklopfen darf. noindex entscheidet erst danach, sobald der Crawler längst drin war und gelesen hat, was auf der Seite steht.

robots.txt ist eine öffentliche Datei. Jeder, Mensch oder Programm, kann https://deinedomain.de/robots.txt im Browser öffnen und genau nachlesen, welche Pfade dort gesperrt wurden. Das verändert den Blick auf die Datei grundlegend: Es ist ein Zettel an der Tür mit der Bitte, nicht hereinzukommen, und ein solcher Zettel hält niemanden wirklich auf.

Seriöse Crawler, Googlebot, Bingbot und andere Bots, denen an einer guten Beziehung zu den besuchten Websites liegt, respektieren diesen Zettel, weil es sich langfristig für sie lohnt. Ein böswilliger Bot, ein Preis-Scraper, ein Schwachstellen-Scanner, hat keinen Anreiz dazu, und nutzt robots.txt in der Praxis oft genau andersherum: als Landkarte dafür, welche Ordner sich zuerst zu untersuchen lohnen, weil jemand sich extra die Mühe gemacht hat zu bitten, dort nicht hinzusehen.

Daraus entsteht der teuerste Fehler, den man mit dieser Datei machen kann: sensible Pfade unter Disallow aufzulisten, ein Admin-Panel, eine Staging-Umgebung, einen Backup-Ordner, in der Annahme, sie seien damit versteckt. Das Gegenteil ist der Fall. Diese Pfade stehen jetzt in Klartext für jeden bereit, der die Datei liest, während ein Bot, der die Direktive ignoriert, sie ohne echte Hürde besucht. Um etwas wirklich zu schützen, braucht es Authentifizierung, ein Passwort, eine IP-Whitelist, keine Zeile in einer Datei, die jeder einsehen kann. Der Artikel zum Crawler zeigt dazu ein Schaubild, das genau diesen Punkt vergleicht, gesperrt ist nicht dasselbe wie draußen, ein Blick lohnt sich, falls diese Unterscheidung noch unklar ist.

Googles eigene Dokumentation formuliert es unmissverständlich: robots.txt ist kein Mechanismus, um eine Seite aus der Google-Suche herauszuhalten. Sie dient dazu, die Last der Crawler-Anfragen auf einem Server zu steuern und den Traffic auf das zu lenken, was relevant ist, nicht dazu, eine Zugriffsschranke aufzubauen. Wer sie wie ein Schloss behandelt, legt oft selbst den Grundstein für genau die Datenexposition, die später zufällig entdeckt wird, wenn jemand die Datei findet und exakt den Pfaden folgt, die dort nicht besucht werden sollten. Sicherheitsforscher durchsuchen robots.txt-Dateien routinemäßig genau aus diesem Grund, weil eine sorgfältig gepflegte Sperrliste oft schneller zum Ziel führt als ein blindes Durchprobieren von Pfaden.

• Platziere die Datei immer im Root der Domain, als Klartext, ohne Weiterleitung, damit der Crawler sie beim ersten Versuch findet.
• Nutze Disallow nur für Pfade, die dem Crawling wirklich nichts bringen: interne Admin-Bereiche, interne Suchergebnisse, Filterparameter, die URLs ohne neuen Inhalt vervielfachen.
• Ergänze am Ende der Datei die Zeile Sitemap, damit der Crawler die Sitemap findet, ohne allein auf interne Links angewiesen zu sein.
• Prüfe mit dem robots.txt-Tester der Search Console, ob die Regeln tatsächlich das tun, was du denkst, bevor du sie veröffentlichst, besonders bei Wildcards.
• Willst du eine URL aus dem Index nehmen, sperre sie nicht per Disallow, nutze noindex und lasse robots.txt den Zugriff auf diesen Pfad erlauben.
• Prüfe die Datei nach jeder größeren Strukturänderung oder Migration; eine aus einer Staging-Umgebung übernommene Regel kann die ganze Website sperren, ohne dass es wochenlang jemand bemerkt.

• Versehentlich die gesamte Website sperren, weil eine Regel wie Disallow: / aus einer Staging-Umgebung beim Livegang aktiv blieb.
• Sensible Pfade unter Disallow auflisten in der Annahme, sie seien dadurch geschützt, obwohl sie damit jedem sichtbar werden, der die Datei öffnet.
• CSS- oder JavaScript-Ordner sperren, die der Crawler zum korrekten Rendern der Seite braucht, wodurch Google eine kaputte Version der Website sieht.
• Disallow und noindex auf derselben URL kombinieren, wodurch der Crawler das Ausschluss-Tag nie liest und die Seite ohne Beschreibung weiter in den Ergebnissen auftauchen kann.
• Davon ausgehen, dass eine per robots.txt gesperrte URL sofort und dauerhaft aus Google verschwindet, obwohl sie über externe Links weiter indexiert bleiben kann.