Embedding: was ein Bedeutungsvektor wirklich misst

Ein Embedding ist buchstäblich ein Vektor: eine Liste von Dezimalzahlen. Keine dieser Zahlen hat eine eigene Lesart. Dimension 431 bedeutet weder »Förmlichkeit« noch »juristisches Thema«, und ihr einen Einzelsinn zuzuschreiben ist verlorene Zeit. Zählt allein die relative Lage. Zwei Inhalte mit ähnlicher Bedeutung landen in diesem Raum nah beieinander und zwei fremde Inhalte weit auseinander, sodass der Abstand zwischen zwei Vektoren ihre Beziehung misst: kleine Abstände zeigen eine enge Beziehung an.

Daraus ergeben sich zwei Grenzen, die man vorab festhalten sollte. Die erste: Ein Embedding speichert den Text nicht. Es ist eine verlustbehaftete Repräsentation, gedacht zum Vergleichen und nicht zum Rekonstruieren. Die zweite stiftet in Berichten die meiste Verwirrung: Ein Embedding misst Bedeutungsähnlichkeit, nicht Wahrheit und nicht Qualität. Zwei Sätze können im Vektorraum dicht beieinanderliegen und der eine richtig, der andere falsch sein, denn »das Medikament senkt das Risiko« und »das Medikament senkt das Risiko nicht« handeln von genau demselben. Die Verneinung bewegt den Vektor kaum und kehrt den Sinn dennoch um.

Deshalb beantwortet ein hoher Ähnlichkeitswert die Frage »geht es um dasselbe?« und nie die Frage »stimmt es?«. Jedes Dashboard, das den Kosinus als redaktionelle Qualitätskennzahl ausgibt, benennt eine Messung einfach in eine andere um.

Das übliche Maß ist die Kosinus-Ähnlichkeit, die die Richtung zweier Vektoren vergleicht und ihre Länge verwirft. OpenAI empfiehlt sie ausdrücklich und weist darauf hin, dass die eigenen Vektoren normalisiert ausgegeben werden, sodass das Skalarprodukt dasselbe Ergebnis etwas schneller liefert und der euklidische Abstand exakt dieselbe Reihenfolge erzeugt. Die Gemini-Dokumentation erklärt es über denselben Weg: Es zählt die Richtung und nicht der Betrag, weil die Richtung die begriffliche Nähe besser abbildet.

Die Dimensionalität ist die Anzahl der Werte in der Liste. Die aktuellen Modelle arbeiten in bekannten Größenordnungen: 1.536 Werte bei text-embedding-3-small und 3.072 bei text-embedding-3-large, während Gemini zwischen 128 und 3.072 zulässt und 768, 1.536 oder 3.072 empfiehlt. In der Praxis sagt diese Zahl, wie viel Nuance hineinpasst und was es kostet, sie zu speichern und zu vergleichen. Mehr Dimensionen behalten feinere Unterscheidungen und brauchen mehr Speicher; weniger Dimensionen verbilligen den Index und beschleunigen die Suche auf Kosten von Nuance.

Der Abfall ist nicht proportional, und das ist die nützliche Angabe. OpenAI hat gemessen, dass das große Modell, auf 256 Werte gekürzt, im MTEB-Benchmark noch immer über dem Vorgängermodell mit 1.536 Werten liegt, sodass Kürzen billiger ausfällt, als die Intuition nahelegt. Bleibt ein Betriebsdetail, das häufig übersehen wird: Manche APIs unterscheiden, ob der eingehende Text eine Anfrage oder ein Dokument des Korpus ist, und der falsche Typ verschlechtert den Abruf ohne jede Warnung.

Für alle, die über ein Content-Budget entscheiden, ist die praktische Folge eine Verschiebung des Hebels. Wenn der Abruf über Bedeutung funktioniert, ist das Wiederholen der exakten Keyword-Variante nicht länger der Mechanismus, der einen Text auffindbar macht, denn das System erkennt Synonyme und abweichende Formulierungen von selbst. Google sagt es in seinem Leitfaden zur generativen Suche ohne Umschweife: Man muss nicht auf eine besondere Art für die KI schreiben, da die eigenen Systeme Synonyme und den allgemeinen Sinn einer Suche verstehen.

Die zweite Folge ist eine Grenze, die kaum je ausgesprochen wird. Eine gute Vektorähnlichkeit bringt deinen Text unter die abgerufenen Kandidaten. Sie entscheidet nicht, dass er zitiert wird, dass man ihm glaubt oder dass er richtig ist. Oberhalb des Abrufs wirken weitere Ranking- und Filtersysteme, und die Prüfung von Tatsachen gehört nicht zu den Fähigkeiten eines Vektors.

In konkrete Entscheidungen übersetzt: Es lohnt sich, ein Thema präzise abzudecken und die Dinge beim Namen zu nennen, und es lohnt sich nicht, ein Werkzeug zu kaufen, das verspricht, »deine Embeddings zu optimieren«, für eine Suchmaschine, deren Modell von außen niemand kennt. Und keine Ähnlichkeitszahl sollte je als redaktionelle Qualitätskontrolle dienen.

• Schreib über das Thema, nicht über die Keyword-Variante. Bedeutungsbasierter Abruf belohnt es, eine Sache gut abzudecken, und mechanische Wiederholung bringt nicht mehr den Vorteil, den sie einmal brachte.
• Nenne Subjekt, Produkt, Ort und Datum ausdrücklich. Ein Text voller impliziter Bezüge erzeugt einen verwaschenen Vektor, der schwer abzurufen ist.
• Kombiniere Vektorsuche mit lexikalischer Suche, wenn du einen eigenen Index betreibst. In Anthropics Auswertung senkte die Ergänzung um exakte Übereinstimmung die Fehler von 5,7 % auf 2,9 %, und sie hilft vor allem bei Codes, Referenzen und seltenen Eigennamen.
• Wähle die Dimensionalität nach Budget und prüfe sie nach. Kürzen kostet meist weniger Qualität als erwartet, aber das belegt man mit dem eigenen Testsatz und nicht per Analogie.
• Gib den Aufgabentyp an, wenn die API ihn anbietet, und trenne Anfrage von Dokument. Das ist kostenlos und verhindert einen stillen Genauigkeitsverlust.
• Prüfe Tatsachen außerhalb des Vektors. Die Ähnlichkeit sagt, wovon ein Text handelt; ob er stimmt, sagt eine Quelle und kein Abstand.

• Den Kosinus als Qualitätsnote lesen. Das ist die teuerste Verwechslung des Themas, denn er misst Bedeutungsnähe und sonst nichts.
• Ähnlichkeitswerte zwischen verschiedenen Modellen vergleichen. Jedes Modell hat seine eigene Skala, und 0,82 im einen entspricht nicht 0,82 im anderen.
• Vektoren verschiedener Modelle oder Versionen in einem Index mischen. Die Abstände bedeuten dann nichts mehr, und die Suche liefert zufällige Ergebnisse, die wie legitime Ergebnisse aussehen.
• Das Modell wechseln, ohne das gesamte Korpus neu zu indexieren. Die alten Vektoren passen nicht zu den neuen Anfragen, auch wenn das System weiter fehlerfrei antwortet.
• Erwarten, dass der Vektor eine Verneinung oder einen Widerspruch erkennt. Ein Satz und sein Gegenteil liegen im Raum sehr nah beieinander, dieser Filter muss also an anderer Stelle im System sitzen.