Was großes Sprachmodell bedeutet
Das Adjektiv „groß“ beschreibt keine Qualität, sondern den Umfang: die im Training verwendete Textmenge und die Zahl der dabei angepassten Parameter. Parameter aus Daten anzupassen ist der Kern des Machine Learning, und ein LLM ist ein Spezialfall davon. Ein Parameter ist ein Zahlenwert im Netz. Gemeint ist ein neuronales Netz, und die meisten seiner Parameter sind die Gewichte der Verbindungen zwischen seinen Knoten. Aus seiner Anzahl lässt sich nicht ableiten, wie brauchbar das System in einer konkreten Aufgabe ist, und die Hersteller veröffentlichen sie kaum noch. Weil dieses Netz viele Schichten hat, ist ein LLM auch ein Modell des Deep Learning.
Drei Dinge, die im Alltagsgespräch durcheinandergehen, gehören auseinander. Das Modell ist die Parameterdatei plus der Code, der sie ausführt. Der Assistent ist das Produkt drumherum: Oberfläche, feste Anweisungen, Gesprächsverlauf, Werkzeuge. Und die KI-Suche ist eine dritte Ebene, auf der der Assistent vor dem Formulieren einen Web-Index abfragt. Dieselbe Frage kann auf den drei Ebenen unterschiedlich ausfallen. Ein Assistent, mit dem man im Gespräch arbeitet, ist ein Chatbot. Nicht jeder Chatbot nutzt aber ein LLM, regelbasierte folgen vorgegebenen Antworten. Ein LLM ist die Form generativer KI, die Text erzeugt; andere generative Modelle erzeugen Bilder, Audio oder Video.
Die andere wichtige Unterscheidung ist zeitlich. Ein Modell wird mit Texten bis zu einem Stichtag trainiert. Manche Anbieter veröffentlichen zwei Daten: das des Trainingsmaterials und ein früheres, bis zu dem sie die Information als verlässlich einstufen. Nach diesem Punkt steht in den Parametern nichts über den neuen Firmensitz, die geänderten Preise oder das Rebranding. Ein System mit Live-Abruf umgeht einen Teil des Problems, weil es beim Antworten Quellen abfragt, und reagiert deshalb anders auf Neuigkeiten als ein abgeschottetes Modell. Liegen diese Quellen als Embeddings vor, kann die Suche in einer Vektordatenbank laufen.
