Was ist das Kontextfenster?

Ein Sprachmodell liest kein Dokument unbegrenzt vollständig ein. Bevor es antwortet, wandelt es den gesamten relevanten Text (die Systemanweisung, den Gesprächsverlauf, jedes angehängte Dokument) in Einheiten um, die Tokens heißen, und kann nur eine maximale Anzahl dieser Einheiten in einer einzigen Anfrage berücksichtigen. Dieses Maximum ist das Context Window.

Ein Token entspricht nicht genau einem Wort: Es kann ein vollständiges Wort, ein Wortteil oder ein Satzzeichen sein, je nachdem, wie das Modell den Text zerlegt. Deshalb wird das Context Window immer in Tokens gemessen, nicht in Wörtern oder Zeichen, und die Umrechnung zwischen beiden variiert spürbar je nach Sprache und je nach Modell.

Das Context Window sollte nicht mit dem Trainingsgedächtnis des Modells verwechselt werden. Das Training ist der riesige Textkorpus, mit dem die Parameter des Modells angepasst wurden, bereits festgelegt, bevor die Konversation existiert. Das Context Window ist etwas anderes: Es ist das Arbeitsgedächtnis dieser konkreten Konversation, der Raum, in den passt, was bisher gesagt wurde und was das Modell als Nächstes erzeugen wird. Ein Modell kann etwas aus seinem umfangreichen Training durchaus wissen und es trotzdem nicht in einer konkreten Antwort nutzen können, wenn diese Information nie tatsächlich in das Context Window dieser konkreten Konversation gelangt ist, sondern nur irgendwo im Trainingsmaterial steckte.

In einer mehrstufigen Konversation sammeln sich jede Nachricht des Nutzers und jede Antwort des Modells im Context Window an, und frühere Runden bleiben vollständig erhalten, sofern die Anwendung sie nicht bewusst kürzt. Jede Runde hat eine Eingabephase, die den gesamten bisherigen Verlauf plus die neue Nachricht umfasst, und eine Ausgabephase, das ist die vom Modell erzeugte Antwort, die für die nächste Runde vollständig Teil des Verlaufs wird und dort mitgezählt wird.

Alles zählt zum Limit: die Systemanweisung, jede Nachricht im Verlauf (einschließlich Werkzeugergebnisse, Bilder oder angehängte Dokumente), die Definitionen der verfügbaren Werkzeuge selbst und die vom Modell erzeugte Antwort, einschließlich jedes internen Reasonings, das es vor der sichtbaren Antwort produziert.

Nähert sich eine Konversation dem Limit des Fensters, gibt es zwei Hauptauswege. Der eine ist, dass die Anwendung die ältesten Teile der Konversation kürzt oder zusammenfasst, um Platz für neue zu schaffen, eine Technik, die meist Kompaktierung genannt wird. Der andere ist, dass das System die Anfrage direkt ablehnt, wenn sie das Limit bereits überschreitet, bevor überhaupt etwas erzeugt wurde, statt zu versuchen, sie halb zu verarbeiten.

Ein wichtiger Punkt, der sich mit der Zeit ändert: Die genaue Größe des Context Windows ist keine feste Eigenschaft von Sprachmodellen im Allgemeinen. Es ist eine Zahl, die jeder Anbieter für jedes konkrete Modell festlegt und die mit jeder neuen Generation gewachsen ist. Deshalb kann jede konkrete Zahl, die man heute über ein Modell liest, in kurzer Zeit veraltet sein, und es lohnt sich immer, sie zum Zeitpunkt der tatsächlichen Nutzung in der aktuellen Dokumentation des jeweiligen Anbieters zu prüfen, nicht in einem alten Artikel.

Das Context Window erklärt, warum eine sehr lange Seite nicht vollständig in eine KI-Antwort passt. Wenn ein KI-gestütztes Suchsystem Inhalte aus mehreren Seiten abruft, um eine Antwort zu bauen, belegt jeder aufgenommene Abschnitt einen Teil dieses begrenzten Fensters, und das System muss auswählen, welche Abschnitte hineinpassen und welche wegfallen. Eine Seite, die in klaren Abschnitten strukturiert ist, mit den am ehesten zitierfähigen Informationen in in sich geschlossenen Abschnitten gebündelt, hat eine größere Chance, dass einer dieser Abschnitte vollständig hineinpasst und unverändert genutzt wird.

Das hängt direkt mit dem Chunking zusammen, der Technik, ein langes Dokument vor der Indexierung in handhabbare Abschnitte zu zerlegen: Chunking entscheidet, wie ein Dokument geschnitten wird, und das Context Window entscheidet, wie viele dieser Schnitte in eine konkrete Antwort passen. Das sind zwei Hälften desselben Problems, keine zwei völlig getrennten Themen, auch wenn sie oft getrennt behandelt werden.

Außerdem ist ein größeres Context Window nicht automatisch besser. Anthropics eigene Dokumentation warnt vor einem Phänomen namens Context Rot: Je mehr Text sich in der Konversation ansammelt, desto schwerer fällt es dem Modell, Genauigkeit und die Erinnerung an relevante Details zu bewahren. Deshalb ist eine gute Auswahl dessen, was überhaupt in den Kontext gelangt, mindestens genauso wichtig wie die Frage, wie viel Platz insgesamt verfügbar ist.

• Strukturiere lange Inhalte in Abschnitten mit klaren Überschriften, damit ein konkreter Abschnitt verständlich bleibt, selbst wenn er ohne den Rest der Seite extrahiert wird.
• Gehe niemals davon aus, dass ein großes Context Window schlecht organisierte Inhalte automatisch ausgleicht: Context Rot betrifft nachweislich auch die größten verfügbaren Fenster.
• Platziere die am ehesten zitierfähigen Informationen (klare Definitionen, konkrete Zahlen, einzelne Schritte eines Ablaufs) in in sich geschlossenen Absätzen, nicht verteilt über mehrere voneinander abhängige Sätze.
• Arbeitest du mit der API eines Sprachmodells, prüfe die Tokenzahl deiner Anfrage, bevor du sie sendest, statt sie über einen Fehler wegen Limitüberschreitung zu entdecken.
• Prüfe die Context-Window-Größe eines Modells in der aktuellen Dokumentation des Anbieters, nicht in einem ein Jahr alten Artikel.
• Fasse in langen Konversationen mit einem KI-Assistenten bereits geklärte Themen bewusst zusammen oder schließe sie ausdrücklich ab, statt den kompletten Verlauf unkontrolliert weiterwachsen zu lassen.

• Die Tokenzahl eines Modells unreflektiert als universelle Angabe zitieren, obwohl jeder Anbieter sie individuell pro Modell festlegt und mit jeder Version wieder ändert.
• Das Context Window mit der Trainingskapazität des Modells verwechseln, als würde es sich innerhalb jeder konkreten Konversation an alles erinnern, womit es trainiert wurde.
• Fälschlich annehmen, möglichst viel Inhalt in den Kontext zu packen verbessere automatisch die Antwort, und dabei ignorieren, dass ein überladener Kontext die Genauigkeit spürbar verschlechtert.
• Web-Inhalte als durchgehenden Block ohne Struktur schreiben, was es deutlich erschwert, dass ein isoliert extrahierter Abschnitt überhaupt Sinn ergibt, wenn er das Einzige ist, was am Ende ins Fenster passt.