Was ist ein LLM (großes Sprachmodell)

Das Adjektiv „groß“ beschreibt keine Qualität, sondern den Umfang: die im Training verwendete Textmenge und die Zahl der dabei angepassten Parameter. Ein Parameter ist ein Zahlenwert im Netz. Aus seiner Anzahl lässt sich nicht ableiten, wie brauchbar das System in einer konkreten Aufgabe ist, und die Hersteller veröffentlichen sie kaum noch.

Drei Dinge, die im Alltagsgespräch durcheinandergehen, gehören auseinander. Das Modell ist die Parameterdatei plus der Code, der sie ausführt. Der Assistent ist das Produkt drumherum: Oberfläche, feste Anweisungen, Gesprächsverlauf, Werkzeuge. Und die KI-Suche ist eine dritte Ebene, auf der der Assistent vor dem Formulieren einen Web-Index abfragt. Dieselbe Frage kann auf den drei Ebenen unterschiedlich ausfallen.

Die andere wichtige Unterscheidung ist zeitlich. Ein Modell wird mit Texten bis zu einem Stichtag trainiert. Manche Anbieter veröffentlichen zwei Daten: das des Trainingsmaterials und ein früheres, bis zu dem sie die Information als verlässlich einstufen. Nach diesem Punkt steht in den Parametern nichts über den neuen Firmensitz, die geänderten Preise oder das Rebranding. Ein System mit Live-Abruf umgeht einen Teil des Problems, weil es beim Antworten Quellen abfragt, und reagiert deshalb anders auf Neuigkeiten als ein abgeschottetes Modell.

Der Text kommt zerlegt in Einheiten namens Token herein, die ein Wort, ein Wortstück oder ein Zeichen sein können. Aus dieser Folge berechnet das System eine Wahrscheinlichkeitsverteilung über das nächste Token, wählt eines aus, hängt es an die Folge an und wiederholt den Vorgang. Die vollständige Antwort ist die Summe dieser aufeinanderfolgenden Entscheidungen.

Die Auswahl fällt nicht immer auf das wahrscheinlichste Token. Sampling-Parameter wie Temperatur oder Top-p regeln, wie viel aufsummierte Wahrscheinlichkeit in die Auslosung kommt. Bei Temperatur null wird stets das Maximum genommen, und trotzdem können zwei identische Aufrufe auseinanderlaufen: Auf Inferenzservern hängt das Ergebnis von der Größe des Stapels ab, mit dem jede Anfrage verarbeitet wird, und dieser Stapel ändert sich mit der Last im jeweiligen Moment. In einem Experiment mit tausend Generierungen desselben Textes traten achtzig Varianten auf, alle identisch bis Token 103.

Daraus folgt auch die erfundene Aussage. Es gibt keine Abfrage einer Datenbank, es gibt eine Berechnung der plausiblen Fortsetzung. Wenn zu einer kleinen Marke kaum Material vorliegt, kann die statistisch naheliegende Fortsetzung ein Firmensitz, ein Gründer oder ein Sortiment sein, die es nie gab, formuliert mit derselben Sicherheit wie eine richtige Angabe. Eine Arbeit von OpenAI verweist zusätzlich auf die Bewertungsverfahren: Werden Antworten als richtig oder falsch gewertet, bekommt ein Modell, das immer etwas wagt, mehr Punkte als eines, das die fehlende Grundlage benennt, das Verfahren belohnt also das Raten.

Die erste Folge betrifft die Messung. Wenn derselbe Prompt unterschiedliche Antworten liefern kann, sagt eine einzelne Prüfung nichts über die Sichtbarkeit deiner Marke. Nötig sind Wiederholungen, gezählte Häufigkeiten und Erwähnungsraten über die Zeit. Wer einen Screenshot als Beweis zeigt, zeigt einen einzelnen Wurf.

Die zweite betrifft den Inhalt. Da die Antwort über Wahrscheinlichkeit entsteht und nicht über die Abfrage eines Registers, wiegen Unternehmensangaben, die nur einmal auftauchen, in einem PDF oder eingebettet in ein Bild, wenig gegen solche, die sich konsistent über viele zitierfähige Quellen wiederholen. Damit wird die Einheitlichkeit von Name, Adresse, Sortiment und Zahlen zu einer technischen und nicht zu einer kosmetischen Frage.

Die dritte betrifft die Fehlerkorrektur. Wenn ein System deinem Unternehmen etwas Falsches zuschreibt, gibt es keinen Bearbeiten-Knopf. Ändern lässt sich nur das verfügbare Material: die richtige Fassung dort veröffentlichen, wo das System sie erreichen kann, gewichtige Quellen dazu bringen, sie aufzunehmen, und auf den nächsten Trainingszyklus warten oder, bei Live-Abruf, auf die nächste Indexierung. Zu wissen, welcher der beiden Fälle vorliegt, entscheidet, ob die Korrektur Tage oder Monate braucht.

• Wiederhole jede Abfrage mehrfach und notiere, in wie vielen Durchläufen die Marke auftaucht, statt dich auf eine einzelne Antwort zu verlassen.
• Halte zu jeder Messung Modell, Datum und die Angabe fest, ob die Antwort verlinkte Quellen enthielt. Ohne diese drei Angaben taugt der spätere Vergleich nicht.
• Veröffentliche die Unternehmensdaten als reinen Text und überall im selben Format: Firmenname, Adresse, Produktbereich und Zahlen mit ihrem Datum.
• Unterscheide im Bericht zwischen Systemen mit Live-Abruf und Modellen ohne Webzugang, denn die Frist bis zur Wirkung einer Korrektur ist verschieden.
• Prüfe stichprobenweise, was die Systeme über dein Unternehmen behaupten, und sichere datierte Screenshots, besonders vor einem Preis- oder Standortwechsel.
• Behandle jede Aussage eines LLM zu Zahlen, Fristen oder Rechtsvorschriften als ungeprüft, bis eine eigene Quelle sie bestätigt.

• Eine günstige Antwort als erreichte Position deuten, obwohl der nächste Aufruf etwas anderes liefern kann.
• Messungen aus verschiedenen Zeitpunkten vergleichen, ohne die Modellversion zu notieren, die der Anbieter ohne Ankündigung wechselt.
• Die Parameterzahl als Qualitätsargument verwenden, obwohl sie ohne Aufgabe und Messverfahren nichts aussagt.
• Annehmen, eine heute auf der eigenen Website veröffentlichte Korrektur schlage sich morgen in einem Modell ohne Live-Zugang nieder.
• Das System nach der Quelle einer Aussage fragen und die Antwort für bare Münze nehmen: Auch der Beleg kann über Wahrscheinlichkeit entstanden sein.