Retrieval-Augmented Generation (RAG)
Retrieval-Augmented Generation verbindet ein Sprachmodell mit einer Suche in eigenen Dokumenten, sodass Antworten auf hinterlegtem Wissen beruhen.
Retrieval-Augmented Generation, kurz RAG, löst ein Grundproblem von Sprachmodellen: Sie kennen die Dokumente eines Unternehmens nicht. Bei RAG wird die Frage zunächst genutzt, um passende Textstellen aus einer Dokumentensammlung zu finden. Diese Textstellen werden dem Modell zusammen mit der Frage übergeben, und das Modell formuliert die Antwort auf dieser Grundlage.
Technisch besteht RAG aus mehreren Schritten. Dokumente werden in Abschnitte zerlegt, jeder Abschnitt wird in einen Zahlenvektor umgewandelt und in einer Vektordatenbank abgelegt. Bei einer Anfrage wird die Frage ebenfalls in einen Vektor umgewandelt, die ähnlichsten Abschnitte werden gefunden und in den Kontext des Modells eingefügt.
Der Vorteil gegenüber Fine-Tuning: Das Wissen liegt nicht im Modell, sondern in den Dokumenten. Neue Dokumente sind sofort verfügbar, veraltete werden entfernt, und jede Antwort kann auf die Abschnitte verweisen, aus denen sie stammt. Die Qualität hängt davon ab, wie gut die Suche die richtigen Stellen findet.
Was das für Ihr Unternehmen bedeutet
RAG ist das Verfahren, mit dem ein Unternehmen sein eigenes Wissen nutzbar macht, ohne ein Modell zu trainieren: Handbücher, Verträge, Richtlinien und Angebote bleiben Dokumente und werden bei jeder Frage neu durchsucht. In der vector zero App beruhen Antworten aus Projekt- und Persona-Dokumenten auf diesem Prinzip und nennen Dokument und Abschnitt als Quelle.