Indexierung bei Google: was sie bedeutet und wie sie sich von Crawling und Ranking unterscheidet

Bis eine Seite im organischen Suchergebnis auftauchen kann, durchläuft sie drei aufeinander aufbauende Phasen. Zuerst entdeckt und besucht Googlebot die URL: Er lädt das HTML, rendert es meist mit einer Chromium-Version, um per JavaScript nachgeladene Inhalte zu sehen, und folgt den gefundenen Links. Diese Phase heißt Crawling und ist zwingende Voraussetzung für alles Weitere. Kann Googlebot eine URL nicht erreichen, kommt sie nie bis zur Indexierung. Wie Crawling im Detail funktioniert und wann es zum Engpass wird, steht im Glossareintrag zu Crawl Budget, der sich direkt an diesen Artikel anschließt.

Nach dem Crawling folgt die eigentliche Indexierung: Google analysiert Inhalt, Überschriftenstruktur, interne Verlinkung und strukturierte Daten und entscheidet, ob die URL einen Platz im Index verdient. Das ist keine automatische Folge des Crawlings. Google kann eine Seite problemlos crawlen und sie trotzdem nicht indexieren, etwa wenn der Inhalt fast identisch mit einer anderen URL derselben oder einer fremden Domain ist, wenn der Text kaum eigenständigen Wert bietet, oder wenn technische Signale sich widersprechen, zum Beispiel ein Canonical-Tag, das auf eine andere URL zeigt.

Erst eine indexierte Seite tritt in die dritte Phase ein, das Ranking, in der Google entscheidet, für welche Suchanfragen und an welcher Position sie erscheint. Genau hier liegt die häufigste Überraschung für Website-Betreiber: Indexiert zu sein bedeutet nicht automatisch Sichtbarkeit. Eine Seite kann seit Monaten im Index stehen und trotzdem keinen einzigen organischen Besucher bringen, weil sie für keine relevante Anfrage unter den oberen Ergebnissen erscheint.

Diese Reihenfolge lässt sich nicht abkürzen. Es gibt keinen Weg, eine Seite direkt ranken zu lassen, ohne dass sie vorher gecrawlt und indexiert wurde, und es gibt keinen Trick, der die Indexierung erzwingt, ohne dass Googlebot die Seite zuvor besuchen konnte. Wer über schlechte Sichtbarkeit klagt, sollte deshalb immer zuerst rückwärts prüfen: Ist die Seite überhaupt indexiert? Wurde sie überhaupt gecrawlt? Erst wenn beide Fragen mit Ja beantwortet sind, ist ein Rankingproblem im engeren Sinn die richtige Diagnose.

Das ist der häufigste Denkfehler in der technischen SEO-Analyse. Eine "gecrawlte" Seite heißt nur, dass Googlebot die URL besucht hat. Eine "indexierte" Seite heißt, dass dieser Besuch mit einer Aufnahme in den Index endete. Eine Seite, die "rankt", erscheint zusätzlich für konkrete Suchanfragen mit echten Klicks. Eine Seite kann in genau einem dieser drei Zustände sein, ohne in den anderen beiden zu sein.

Der schnellste Test, ob eine konkrete URL indexiert ist, ist die Eingabe von site:deinedomain.de/genauer-pfad in die Google-Suche. Erscheint ein Ergebnis, ist die URL indexiert, unabhängig davon, ob sie Traffic bringt. Zuverlässiger liefert dieselbe Information der Bericht Seitenindexierung in der Google Search Console, ebenso wie das URL-Prüftool.

Die eigentliche Steuerung passiert über zwei Mechanismen, die in der Praxis ständig verwechselt werden: robots.txt und das noindex-Meta-Tag. Genau diese Verwechslung verursacht die meisten Fehler in technischen Audits, deshalb lohnt sich der Blick auf konkrete Code-Beispiele statt nur auf Theorie.

robots.txt greift in der Crawling-Phase: Sie sagt Googlebot, welche Pfade er nicht besuchen soll. Ein vollständiges Beispiel:

User-agent: *
Disallow: /admin/
Disallow: /warenkorb/
Disallow: /*?filter=
Allow: /admin/login.html

Sitemap: https://www.deinedomain.de/sitemap.xml

Was viele nicht wissen, und was Googles eigene Dokumentation ausdrücklich bestätigt: Eine URL in robots.txt zu sperren, garantiert nicht, dass sie aus dem Index verschwindet. Verlinken andere Seiten auf diese URL, kann Google sie trotzdem indexieren, obwohl er den Inhalt nie lesen konnte, und sie ohne Beschreibung im Suchergebnis anzeigen, nur mit der nackten URL. Ein klassischer Fehler: Wer eine Seite aus Google entfernen will und dafür robots.txt sperrt, erreicht genau das Gegenteil.

Das richtige Werkzeug, um eine Seite aus dem Index zu nehmen, ist das noindex-Tag. Es wirkt in der Indexierungsphase, nicht in der Crawling-Phase. Beispiel im <head> des HTML:

<meta name="robots" content="noindex, follow">

Hier liegt die Falle, die am häufigsten zuschlägt: noindex funktioniert nur, wenn Googlebot die Seite crawlen darf. Ist dieselbe URL zusätzlich per robots.txt gesperrt, liest Google das noindex-Tag nie, weil er das HTML nie herunterlädt, und die Anweisung verpufft wirkungslos. Die Faustregel, die den ganzen Abschnitt zusammenfasst: robots.txt verhindert das Crawling, noindex verhindert die Indexierung trotz erlaubtem Crawling. Wer eine URL deindexieren will, muss sie crawlbar lassen.

Das am meisten unterschätzte Risiko ist nicht, dass Seiten im Index fehlen, sondern dass zu viele minderwertige Seiten dort landen. Man nennt das Index Bloat: Wenn Google tausende Low-Value-URLs indexiert, etwa Ergebnisse interner Filter, inhaltsleere Paginierungsseiten, Duplikate durch Session-Parameter oder vergessene Entwürfe, füllt sich der Index mit Rauschen. Das verwässert nicht nur die wahrgenommene Relevanz der Domain, es verschlechtert auch die Crawling-Effizienz: Google verteilt seine Aufmerksamkeit auf tausende irrelevante URLs, statt sie auf die wirklich wichtigen Seiten zu konzentrieren.

Der klassische Fall von Index Bloat tritt bei Online-Shops mit Facettennavigation auf, wo jede Kombination aus Größen-, Farb- und Preisfilter eine eigene URL erzeugt, oder bei Seiten mit Tracking-Parametern (?utm_source=), die Google ohne Canonical-Tag als eigenständige URLs behandelt. Die Lösung ist nicht immer noindex; oft reicht ein Canonical auf die saubere URL-Version zusammen mit klaren robots.txt-Regeln für Parameter-Pfade, um das Problem an der Wurzel zu lösen.

Google dokumentiert den Unterschied zwischen robots.txt und noindex in seinem Search Central sehr präzise und warnt ausdrücklich, robots.txt sei "kein Mechanismus, um eine Webseite aus Google fernzuhalten" (im Original: "not a mechanism for keeping a web page out of Google"). Das ist ein wörtliches Zitat, keine Interpretation, und man sollte es im Kopf haben, bevor man robots.txt mit der Absicht anfasst, etwas zu deindexieren.

Um Index Bloat systematisch zu prüfen, hilft ein Vorgehen in drei Schritten. Erstens: alle indexierten URLs aus dem Bericht Seitenindexierung der Search Console exportieren und nach Muster gruppieren, etwa alle mit ?filter= oder alle Paginierungsseiten. Zweitens: für jede Gruppe die passende Maßnahme festlegen, Canonical auf die saubere Version bei fast identischem Inhalt, noindex bei Seiten mit punktuellem Wert, die aber nicht um Indexierung konkurrieren sollen, oder 301-Weiterleitung, wenn die Seite keine Funktion mehr hat. Drittens: vier bis sechs Wochen abwarten, bevor man den Bericht erneut prüft, denn die Wirkung zeigt sich nicht sofort, sie hängt davon ab, dass Googlebot jede betroffene URL erneut crawlt.

• XML-Sitemap in der Google Search Console einreichen und aktuell halten; das ist der direkteste Weg, damit Google neue URLs entdeckt.
• noindex verwenden, niemals robots.txt, wenn das eigentliche Ziel ist, eine URL aus dem Index zu entfernen.
• Den Bericht Seitenindexierung in der Search Console mindestens monatlich prüfen, nicht erst wenn etwas offensichtlich schiefläuft.
• Selbstreferenzierende Canonical-Tags auf allen Seiten setzen, bei Parameter-URLs Canonical auf die saubere Version.
• Fast identische Inhalte konsolidieren oder per 301 weiterleiten, statt sie um Indexierung konkurrieren zu lassen.
• Darauf achten, dass keine wichtige Seite ohne interne Verlinkung verwaist; ohne Links besucht Googlebot sie seltener erneut.
• Nach großen Änderungen mit dem URL-Prüftool, nicht nur mit site:, den tatsächlichen Indexierungsstatus wichtiger Seiten kontrollieren.

• Eine URL in robots.txt sperren in der Erwartung, das entferne sie aus dem Index: Sie kann trotzdem ohne Beschreibung erscheinen.
• robots.txt-Sperre und noindex auf derselben URL kombinieren, ohne zu merken, dass die Sperre das Tag wirkungslos macht.
• "Indexiert" mit "rankt" verwechseln: Das sind zwei getrennte Zustände, die getrennt gemessen werden müssen.
• Facettennavigation oder Tracking-Parameter unkontrolliert tausende indexierbare URLs erzeugen lassen.
• Vergessen, das noindex-Tag von Seiten zu entfernen, die im Wartungsmodus waren und danach wieder live gingen.
• Annehmen, mehr indexierte Seiten seien immer besser, ohne zwischen nützlichem und redundantem Inhalt zu unterscheiden.