Retrieval-Augmented Generation (RAG) ist ein Verfahren, das ein Sprachmodell zur Antwortzeit mit extern abgerufenem Wissen anreichert, statt sich allein auf das im Modell gespeicherte (parametrische) Wissen zu verlassen. Eine Nutzeranfrage wird dabei zunächst genutzt, um passende Textpassagen aus einer externen Wissensquelle – etwa einer Vektordatenbank mit Embeddings – abzurufen; diese Passagen werden dann gemeinsam mit der Frage in das Kontextfenster des Modells gegeben, das daraus die Antwort formuliert.
Eingeführt wurde RAG 2020 von Lewis et al., die ein vortrainiertes Seq2Seq-Modell (parametrischer Speicher) mit einem dichten Vektorindex über Wikipedia (nicht-parametrischer Speicher) kombinierten. Der Ansatz reduziert Halluzinationen, liefert aktuellere und belegbare Antworten und erlaubt es, das Wissen zu aktualisieren, ohne das Modell neu zu trainieren. RAG ist heute ein Standardbaustein für unternehmensinterne Chatbots, Wissensassistenten und Suche, weil es Antworten an nachvollziehbare Quellen bindet.