Chunking
Chunking ist das Zerlegen von Dokumenten in Abschnitte, damit Sprachmodelle sie durchsuchen und im Kontextfenster verarbeiten können.
Ein Vertrag mit sechzig Seiten passt weder sinnvoll in eine einzelne Suchanfrage noch als Ganzes in das Kontextfenster eines Modells. Beim Chunking wird das Dokument in kleinere Abschnitte zerlegt, die sogenannten Chunks, typischerweise einige hundert Wörter lang. Jeder Chunk erhält ein eigenes Embedding und wird einzeln in der Vektordatenbank abgelegt.
Wie geschnitten wird, beeinflusst die Qualität der Antworten erheblich. Zu kleine Abschnitte verlieren den Zusammenhang, zu große verwässern die Suche. Gute Verfahren orientieren sich an der Struktur des Dokuments, an Überschriften, Absätzen und Tabellen, und lassen benachbarte Abschnitte leicht überlappen, damit kein Satz an einer Schnittkante verloren geht.
Zu jedem Chunk gehören Angaben zur Herkunft: Dokument, Seite oder Abschnitt. Sie machen es möglich, dass eine Antwort nicht nur auf ein Dokument verweist, sondern auf die konkrete Stelle darin.
Was das für Ihr Unternehmen bedeutet
Chunking bleibt für Anwender meist unsichtbar, entscheidet aber darüber, ob eine Frage zur Kündigungsfrist den richtigen Absatz im Arbeitsvertrag findet. Wer Dokumente für eine KI-Anwendung aufbereitet, hilft dem Verfahren mit klarer Gliederung: Überschriften, kurze Absätze und Tabellen statt langer Fließtextblöcke.