Embedding
Ein Embedding ist die Darstellung eines Textes als Zahlenvektor, in der inhaltlich ähnliche Texte nahe beieinander liegen und so maschinell vergleichbar werden.
Computer rechnen mit Zahlen, nicht mit Bedeutung. Ein Embedding-Modell übersetzt einen Text, ein Wort, einen Satz oder einen Absatz, in eine lange Liste von Zahlen, einen Vektor mit einigen hundert bis einigen tausend Dimensionen. Die Position im Zahlenraum bildet den Inhalt ab: Texte über Urlaubsanspruch liegen nahe beieinander, ein Text über Rechnungsfreigabe liegt woanders.
Damit lässt sich Ähnlichkeit berechnen. Der Abstand zwischen zwei Vektoren sagt, wie verwandt zwei Texte inhaltlich sind, auch wenn sie unterschiedliche Wörter verwenden. Eine Frage nach „Resturlaub“ findet so einen Abschnitt über „nicht genommene Urlaubstage“, was eine Stichwortsuche nicht leisten würde.
Embeddings werden von eigenen Modellen erzeugt, die kleiner sind als Sprachmodelle und nur diese eine Aufgabe erfüllen. Sie bilden die Grundlage der semantischen Suche in Retrieval-Augmented Generation. Ein Embedding lässt sich nicht ohne Weiteres in den Ursprungstext zurückrechnen, enthält aber dessen Bedeutung und ist deshalb im Datenschutz wie der Text selbst zu behandeln.
Was das für Ihr Unternehmen bedeutet
Für ein Unternehmen ist relevant, wo Embeddings erzeugt und gespeichert werden. Wird jedes Dokument zur Berechnung an einen Dienst außerhalb der EU geschickt, verlässt der Inhalt das Unternehmen, auch wenn am Ende nur Zahlen gespeichert sind. Läuft das Embedding-Modell im selben Rechenzentrum wie die Anwendung, bleibt der Vorgang geschlossen.