Was ist llms.txt

Der Name ahmt robots.txt nach, und diese Ähnlichkeit stiftet die erste Verwirrung. robots.txt regelt Berechtigungen: Sie sagt einem Crawler, welche Pfade er anfragen darf. Die XML-Sitemap löst die Auffindbarkeit: Sie zählt die URL auf, die der Betreiber gefunden haben will. llms.txt tut weder das eine noch das andere. Sie ist ein Orientierungsverzeichnis in Markdown, gedacht für ein Sprachmodell, das die Website bereits vor sich hat und auf einen Blick verstehen soll, welche Dokumente wichtig sind und wozu jedes einzelne dient. Sie erteilt keine Erlaubnis und sie entzieht keine, sie ordnet nur.

Der Vorschlag stammt von Jeremy Howard und wurde am 3. September 2024 veröffentlicht. Seither zirkuliert er als lebende Spezifikation, inzwischen in einer zweiten Fassung des Textes. Er hat kein Normungsgremium durchlaufen, es gibt kein offizielles Register für die Datei, und keine Suchmaschine hat sie in ihre Crawling-Dokumentation aufgenommen. Sie einen Standard zu nennen, ist ein Kategorienfehler: Sie ist eine Konvention, die ein Autor vorgeschlagen hat und die ein Teil der Community übernommen hat.

Zu trennen ist sie außerdem von llms-full.txt, einem Abzug des gesamten Inhalts in einer einzigen Datei. Diese Variante zirkuliert aus Gewohnheit der Community und steht nicht in der Spezifikation, teilt also nicht einmal die Rückendeckung eines veröffentlichten Dokuments.

Die Datei liegt im Wurzelverzeichnis der Domain unter dem Pfad /llms.txt und folgt einem festen Aufbau. Sie beginnt mit einer H1-Überschrift mit dem Namen des Projekts, dem einzigen Pflichtelement. Darunter steht ein Blockzitat mit einer kurzen Zusammenfassung. Danach kann freier Fließtext ohne Überschriften folgen. Der Rest besteht aus H2-Abschnitten mit jeweils einer Liste von Markdown-Links; hinter jedem Link sind ein Doppelpunkt und eine erläuternde Notiz zulässig. Ein Abschnitt namens Optional nimmt konventionsgemäß das Nachrangige auf, also das, was ein Modell überspringen kann, wenn der Kontext knapp wird.

# Acme Docs

> Documentación de producto de Acme.

## Guías
- [Inicio](https://acme.com/inicio)
- [API](https://acme.com/api): referencia

## Optional
- [Changelog](https://acme.com/changelog)

So weit der dokumentierte Mechanismus. Der Teil, der fast nie erzählt wird, ist der der Auswertung. Google hat sich am 23. Juli 2025 geäußert, durch Gary Illyes auf einer Veranstaltung Search Central Deep Dive: Google unterstützt llms.txt nicht und plant es auch nicht.

Die Serverlogs weisen in dieselbe Richtung. Eine Auswertung von 137.210 Domains für den Mai 2026 ergab, dass 97 % der veröffentlichten llms.txt-Dateien in diesem Monat nicht eine einzige Anfrage erhielten. Von den Anfragen, die doch eintrafen, stammte die Mehrzahl von SEO-Audit-Werkzeugen und Technologie-Profilern, nicht von KI-Systemen. Und auf Domains ohne die Datei suchte kein KI-Bot danach: Sie prüfen ihre Existenz nicht. Dieselbe Auswertung ergab, dass 28 % dieser 137.210 Domains eine llms.txt veröffentlichen, wobei alle dasselbe Analysewerkzeug einsetzen und die Grundgesamtheit damit technikaffiner ist als das Web insgesamt. Verbreitet ist die Datei also durchaus. Gelesen wird sie kaum.

Die Entscheidung, die an diesem Begriff hängt, ist leicht zu formulieren und leicht falsch zu beantworten: Lohnt es sich, die Datei zu veröffentlichen? Die ehrliche Antwort ist weder ja noch nein. Das Anlegen kostet wenig, für eine mittelgroße Website etwa eine Stunde, und bis heute gibt es keinen öffentlichen Beleg dafür, dass es die Sichtbarkeit in generierten Antworten verbessert. Wer sie veröffentlicht, sollte das in diesem Wissen tun und nicht in Erwartung von Traffic.

Das eigentliche Risiko liegt nicht in der Datei, sondern in dem, was sie verdrängt. Ein Team, das sein Budget für KI-Sichtbarkeit in die Pflege eines Markdown-Verzeichnisses steckt, während das HTML hinter nicht gerendertem JavaScript liegt oder versehentlich der Suchcrawler eines Anbieters blockiert wird, optimiert den Teil, den niemand liest, und vernachlässigt den, den alle crawlen. KI-Systeme, die Seiten zitieren, gelangen auf dem normalen Weg dorthin: Crawling, Index, Abruf.

Es gibt einen zweiten Kostenpunkt, die Pflege. Eine veraltete llms.txt verweist auf URL, die es nicht mehr gibt, und beschreibt Bereiche, die umbenannt wurden. Sollten die Anbieter sie eines Tages doch lesen, wäre die verwaiste Datei eine Fehlerquelle und kein Vorteil. Wer sie veröffentlicht, muss sie in die Prüfroutine der Website aufnehmen, neben Sitemap und Weiterleitungen. Wer sie anlegt, legt deshalb zugleich fest, wer sie prüft und in welchem Rhythmus das geschieht.

• Veröffentliche die Datei nur, wenn du sie pflegst: Nimm sie in dieselbe regelmäßige Prüfung auf wie Sitemap, Weiterleitungen und Canonicals.
• Liefere sie als reinen Text in UTF-8 aus und prüfe, dass sie im Wurzelverzeichnis mit 200 antwortet, nicht in einem Unterverzeichnis und nicht hinter einer Weiterleitung.
• Verlinke ausschließlich kanonische URL, die ohne angemeldete Sitzung erreichbar sind; eine Liste toter Links ist schlechter als gar keine Datei.
• Schreibe die Notiz zu jedem Link für jemanden, der die Website nicht kennt: was im Dokument steht und für welchen Fall es taugt.
• Miss, bevor du urteilst: Filtere deine Zugriffslogs nach dem Pfad /llms.txt und sieh nach, welche Agenten sie auf deiner eigenen Domain anfragen.
• Behandle sie als nachrangige Zugabe, nachdem das HTML ohne JavaScript rendert und robots.txt den Suchcrawlern der KI-Anbieter den Zugriff erlaubt.

• Sie in einem Angebot oder einem Kundenaudit als Standard darstellen, obwohl sie ein Vorschlag ohne Übernahme durch die Suchmaschinen ist.
• Die XML-Sitemap durch llms.txt ersetzen. Das sind verschiedene Mechanismen, und die Sitemap wird von Suchmaschinen tatsächlich ausgewertet.
• Sie per Plugin erzeugen und nie wieder ansehen, sodass sie mit jeder Strukturänderung der Website altert.
• Ihr Anstiege bei Erwähnungen in ChatGPT oder Perplexity zuschreiben, die zeitlich mit anderen Änderungen zusammenfallen; ohne Kontrollgruppe ist keine Ursache belegt.
• Die gesamte Website in llms-full.txt kippen in dem Glauben, damit das Modell zu trainieren, obwohl Training vom Crawling und von den Berechtigungen abhängt.