Retrieval Augmented Generation (RAG) ist ein Architekturmuster, das ein Sprachmodell zur Laufzeit mit gezielt abgerufenen Auszügen aus externen Datenquellen versorgt, damit Antworten auf aktuellen und unternehmenseigenen Informationen beruhen.
Erklärung
Das Trainingswissen eines Sprachmodells endet zum Stichtag seines Trainings und umfasst keine internen Firmendokumente. Eine RAG-Pipeline schließt diese Lücke ohne erneutes Modelltraining in drei Schritten: Zunächst werden Dokumente wie Handbücher, Verträge, Tickets oder Produktkataloge in Textabschnitte (Chunks) zerlegt und als numerische Bedeutungsvektoren (Embeddings) in einem Suchindex oder einer Vektordatenbank abgelegt. Stellt ein Nutzer eine Anfrage, ruft ein Retriever per Vektor- oder Hybridsuche (Kombination aus semantischer Suche und Stichwortsuche wie BM25) die passendsten Textstellen unter Berücksichtigung der Zugriffsrechte des Nutzers ab. Anschließend übergibt das System diese Textstellen zusammen mit der Frage im Prompt an das Sprachmodell, das daraus eine quellenbelegte Antwort formuliert. Gegenüber einem Fine-Tuning lassen sich Preislisten, Richtlinien oder Wissensartikel im Index jederzeit aktualisieren oder löschen, und falsche Angaben sinken deutlich, sofern Chunking und Suchtreffer sauber abgestimmt sind.