Kontextfenster
Das Kontextfenster ist die maximale Textmenge in Token, die ein Sprachmodell bei einer Anfrage berücksichtigt, einschließlich Frage, Dokumente und Antwort.
Ein Sprachmodell hat kein Gedächtnis über eine Anfrage hinaus. Alles, was es bei der Antwort berücksichtigen soll, muss im Kontextfenster stehen: der System-Prompt, der bisherige Gesprächsverlauf, eingefügte Dokumentabschnitte und die aktuelle Frage. Auch die Antwort selbst belegt Platz in diesem Fenster.
Die Größe wird in Token angegeben und reicht je nach Modell von einigen tausend bis zu mehreren hunderttausend Token. Ein größeres Fenster erlaubt längere Dokumente und längere Gespräche, kostet aber mehr Rechenzeit, und die Qualität der Antworten nimmt bei sehr langen Kontexten oft ab, weil das Modell Informationen in der Mitte weniger stark gewichtet.
Deshalb wird selten das ganze Dokument in den Kontext gelegt, sondern nur die Abschnitte, die zur Frage passen. Genau das leistet Retrieval-Augmented Generation: Sie füllt das Kontextfenster gezielt mit den relevanten Stellen statt mit allem.
Was das für Ihr Unternehmen bedeutet
In der Praxis erklärt das Kontextfenster, warum ein Chat nach vielen Nachrichten frühere Angaben zu vergessen scheint und warum eine Anwendung Dokumente in Abschnitte zerlegt. Für Unternehmen heißt das: Ein neuer Chat für ein neues Thema und präzise Fragen liefern verlässlichere Antworten als ein einziger langer Verlauf.