Was ist ein Prompt

Ein Prompt ist kein Keyword. Ein Keyword wird gegen einen Index abgeglichen und liefert Dokumente; ein Prompt wird als Text verarbeitet und zieht alles mit sich, was ihn begleitet. Dieser Unterschied erklärt, warum sich die Messlogik des klassischen SEO nicht unmittelbar auf generierte Antworten übertragen lässt.

Was beim Modell ankommt, ist fast nie nur das, was die Person schreibt. Davor steht meist eine System-Anweisung, die Rolle, Ton und Grenzen festlegt und die der Nutzer nicht sieht. Dahinter steht der Gesprächsverlauf, und in vielen Produkten zusätzlich Ausschnitte aus Dokumenten, die in diesem Moment abgerufen wurden, oder Rückgaben von Werkzeugen. All das belegt das Kontextfenster und geht mit demselben Recht in die Berechnung ein wie die Frage.

Außerdem gehört der Prompt vom Produkt getrennt. Bei einer API ist der Prompt genau das, was gesendet wird. In einem Verbraucher-Assistenten liegen zwischen dem getippten Text und dem Modell Produktschichten, die die Eingabe umschreiben, zusammenfassen oder erweitern. Wenn jemand Ergebnisse aus der Weboberfläche mit denen der API desselben Anbieters vergleicht, erklärt dieser Unterschied meist einen guten Teil der Abweichung.

Jedes Token des Prompts geht in die Berechnung der Wahrscheinlichkeitsverteilung für das nächste Token ein. Es gibt keinen vorgelagerten Schritt, der die Absicht herauszieht und die Form verwirft: Die Form ist Teil der Eingabe. Deshalb verschieben Änderungen, die einem Menschen belanglos erscheinen, das Ergebnis.

Die Größenordnung ist gemessen. Eine Studie zu bedeutungserhaltenden Varianten wie Trennzeichen, Großschreibung, Abstände und Reihenfolge der Beispiele fand Unterschiede von bis zu 76 Genauigkeitspunkten innerhalb derselben Aufgabe und desselben Modells. Eine andere Arbeit mit 6,5 Millionen Fällen über 20 Modelle und 39 Aufgaben zeigte, dass sich beim Umformulieren der Anweisung nicht nur die absoluten Punktzahlen bewegen: Es ändert sich auch, welches Modell vorn liegt.

Dazu kommt die Reihenfolge. Was früher steht, bedingt alles Spätere, sodass eine Optionsliste im Prompt die erste Option allein durch ihre Position begünstigen kann. Und dann ist da das Sampling: Bei einer Temperatur über null lässt derselbe Prompt mehrere Fortsetzungen zu, und die Antwort wird unter ihnen ausgelost. In KI-Suchen kommt eine weitere Schicht hinzu, denn das System führt nicht den geschriebenen Satz aus, sondern zerlegt ihn in mehrere parallele Abfragen nach Unterthemen und formuliert aus dieser Menge. Der getippte Text ist der Ausgangspunkt, nicht die Abfrage, die darunter läuft.

Wer die Sichtbarkeit einer Marke in KI-Antworten misst, misst immer auch den eigenen Fragenkatalog. Die Zahl im Dashboard sagt nicht „wie oft die Marke zitiert wird“, sondern „wie oft die Marke zitiert wird, wenn man so fragt“. Tauscht man zwanzig Prompts gegen zwanzig andere, ebenso vernünftige, bewegt sich die Zahl, ohne dass sich am Markt etwas geändert hätte.

Deshalb können zwei Messanbieter in derselben Woche unterschiedliche Prozentwerte für dasselbe Unternehmen liefern und beide recht haben. Ihre Fragensätze sind verschieden: Der eine fragt nach der Produktkategorie, der andere nach dem Problem des Nutzers, ein dritter nennt die Marke in der Frage und stellt damit fast sicher, dass sie in der Antwort auftaucht. Die Abweichung ist kein Fehler eines der beiden, sie ist die Eigenschaft dessen, was gemessen wird.

Die daraus folgende Entscheidung ist konkret. Der Prompt-Satz wird festgelegt, dokumentiert und versioniert, bevor das erste Ergebnis angesehen wird, genau wie ein Keyword-Set, und jeder Zeitvergleich gilt nur innerhalb desselben Satzes. Werden mitten im Quartal Fragen ergänzt, reißt die Reihe, und der Anstieg im Folgemonat bedeutet nichts. Dasselbe gilt bei der Beauftragung eines externen Anbieters: Ohne Einblick in seinen Fragenkatalog ist sein Prozentwert nicht deutbar.

• Lege den Prompt-Satz vor der ersten Messung schriftlich fest und sichere ihn mit Versionsnummer und Datum.
• Decke mehrere Frageweisen zum selben Sachverhalt ab, nach Kategorie, nach Problem, nach Vergleich und nach Empfehlung, und zähle jede Gruppe einzeln, statt alles zu mitteln.
• Trenne Prompts, die die Marke nennen, von denen, die es nicht tun: Erstere messen, was über dich gesagt wird, letztere, ob du ungebeten auftauchst.
• Wiederhole jeden Prompt je Modell mehrfach und notiere die Auftrittshäufigkeit, denn ein einzelner Durchlauf bildet das Verhalten des Systems nicht ab.
• Halte zu jedem Ergebnis Modell, Datum, Sprache und Land fest, da alle vier die Antwort verändern.
• Dokumentiere bei Messungen über die API auch die System-Anweisung; ohne sie kann ein anderes Team deine Zahlen nicht reproduzieren.

• Die Marke in den Prompt schreiben und die daraus folgende Erwähnung als gewonnene Sichtbarkeit ausweisen.
• Den Prompt-Satz mitten in einem Zeitraum erweitern oder nachbessern und die Reihe weiter vergleichen, als wäre sie durchgehend.
• Zahlen zweier Werkzeuge vergleichen, ohne vorher zu prüfen, ob ihre Fragenkataloge vergleichbar sind.
• Prompts Wort für Wort in andere Sprachen übersetzen und annehmen, sie messen dasselbe, obwohl die übliche Frageweise je Markt anders ausfällt.
• Die Website-Texte auf einen bestimmten Prompt hin schreiben, der wegfallen kann, sobald sich Oberfläche oder Modell ändern.