Das Kontextfenster ist die maximale Menge an Text – gemessen in Token –, die ein Sprachmodell in einem einzelnen Vorgang gleichzeitig verarbeiten kann. Es umfasst sowohl die Eingabe (Prompt, Anweisungen, ggf. abgerufene Dokumente) als auch die erzeugte Ausgabe. Alles, was das Modell „berücksichtigen" soll, muss in dieses Fenster passen.
Die Größe reicht je nach Modell von einigen Tausend bis zu Millionen Token. Ein größeres Kontextfenster erlaubt es, längere Dokumente, ganze Codebasen oder umfangreiche Gesprächsverläufe am Stück zu verarbeiten. Wird das Limit überschritten, muss Inhalt gekürzt oder zusammengefasst werden; Informationen außerhalb des Fensters sind für das Modell nicht sichtbar.
Das Kontextfenster ist damit eine harte technische Grenze, die die Architektur von Anwendungen prägt – etwa bei RAG, wo nur die relevantesten Passagen ausgewählt werden, um das Fenster effizient zu nutzen. Sehr lange Kontexte erhöhen zudem Rechenaufwand und Latenz.