Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation (RAG) ist eine hybride Architektur, die klassische Information-Retrieval-Techniken mit generativer Sprachverarbeitung kombiniert. Information Retrieval (IR) beschreibt Verfahren zur systematischen Suche und Organisation von Informationen aus großen Datenmengen, insbesondere aus unstrukturierten Textquellen.¹ Klassische IR-Systeme beruhen auf Indizierungstechniken wie dem Vector Space Model, das Dokumente anhand ihrer Ähnlichkeit zu einer Suchanfrage bewertet, sowie auf probabilistischen Modellen, die Wahrscheinlichkeiten für die Relevanz von Dokumenten schätzen.^{1 2}

Allgemeine Sprachmodelle lassen sich durch Feinabstimmung auf Standardaufgaben wie Sentiment-Analyse und Entitätserkennung spezialisieren, wobei kein zusätzliches Hintergrundwissen erforderlich ist.
Für komplexere, wissensintensive Aufgaben hingegen kann ein System entwickelt werden, das Zugriff auf externe Wissensquellen besitzt. Dies verbessert die faktische Konsistenz, erhöht die Zuverlässigkeit der Antworten und reduziert das Risiko sogenannter Halluzinationen.

Meta AI-Forschende stellten 2020 die Methode Retrieval-Augmented Generation (RAG)³ vor. Sie kombiniert eine Komponente zur Informationsabrufung mit einem Textgenerationsmodell. Durch diese Kombination lässt sich das interne Wissen eines Sprachmodells effizient aktualisieren, ohne das gesamte Modell neu trainieren zu müssen. Der RAG-Ansatz verarbeitet eine Eingabe, ruft relevante Dokumente aus einer Wissensquelle (z. B. Wikipedia) ab und fügt diese dem ursprünglichen Prompt als Kontext hinzu. Anschließend generiert das Sprachmodell den finalen Ausgabetext. Dadurch eignet sich RAG besonders für Szenarien, in denen sich Fakten häufig ändern – ein entscheidender Vorteil gegenüber statischen LLMs.

Lewis et al.⁴ entwickelten ein allgemeines Feinabstimmungsverfahren für RAG, bei dem ein vortrainiertes seq2seq-Modell als parametrisches Gedächtnis dient und ein dichter Vektorindex (z. B. von Wikipedia) als nicht‑parametrisches Gedächtnis, auf das über einen neuronalen Retriever zugegriffen wird.

RAG erzielte starke Leistungen auf mehreren Benchmark-Datensätzen wie Natural Questions, WebQuestions und CuratedTrec. Die generierten Antworten sind faktisch präziser, spezifischer und vielfältiger, insbesondere bei Aufgaben wie MS MARCO oder FEVER.
Diese Befunde unterstreichen das Potenzial von RAG als robuste Methode zur Verbesserung der Ausgabequalität von Sprachmodellen bei wissensintensiven Aufgaben.

Aktuelle Entwicklungen zeigen zudem, dass abrufbasierte Ansätze zunehmend mit populären großen Sprachmodellen wie ChatGPT kombiniert werden, um deren faktische Konsistenz weiter zu steigern.

Architektur

RAG erweitert diesen Ansatz durch den Einsatz von LLMs und semantischen Suchtechniken wie dense retrieval, bei dem semantisch ähnliche Vektorrepräsentationen verwendet werden. Die Architektur kombiniert dabei zwei Komponenten:

1. eine parametrische Wissenskomponente (in der Regel ein LLM) und
2. eine nicht-parametrische Wissensquelle (z. B. eine Vektordatenbank).

Letztere wird zur Laufzeit mit der Nutzeranfrage durchsucht, um relevante Kontexte zu identifizieren, die in den Generierungsprozess einfließen. Abbildung unten zeigt den schematischen Aufbau nach Schuster et al. ^{5 4}

Diese Struktur erlaubt es dem System, externe Informationen dynamisch in den Generierungsprozess einzubeziehen und damit typische Schwächen großer Sprachmodelle – wie veraltete oder erfundene Aussagen – gezielt zu kompensieren.⁴ Ein zentrales Ziel ist die Reduktion sogenannter Halluzinationen: faktisch falscher, aber sprachlich überzeugender Aussagen.

Abbildung unten zeigt exemplarisch, wie ChatGPT 4o am 18. Februar 2025 fälschlicherweise angibt, Jupiter habe mit 92 natürlichen Satelliten die meisten Monde im Sonnensystem. Tatsächlich weist die NASA seit März 2025 Saturn mit insgesamt 274 bekannten Monden als den mondreichsten Planeten aus.^{6 7}

Welcher Planet in unserem Sonnensystem hat die meisten Monde in seiner Umlaufbahn?

Nach den aktuellsten atronomischen Erkenntnissen ist Jupiter der Planet in unserem Sonnensystem mit den meisten Monden. Im Jahr 2023 wurde die Anzahl seiner natürlichen Satelliten auf 92 bestätigt. [...]

Varianten von RAG

Aufbauend auf diesem Ansatz lassen sich drei verschiedene RAG-Varianten unterscheiden, die unterschiedliche Strategien zur Kontextanreicherung verfolgen:

• Semantisches RAG: Die Kontextselektion erfolgt rein auf Basis vektorbasierter Ähnlichkeit.⁴
• Kontextuelles RAG (Contextual RAG): Diese Variante erweitert die Strategie um benutzer- oder aufgabenbezogene Zusatzinformationen, etwa durch Verlaufskontext oder Rollenbeschreibungen.^{8 9}
• Hybrides RAG (Hybrid RAG): Hier werden semantische Retrievalverfahren mit klassischen, schlüsselwortbasierten IR-Ansätzen kombiniert, um Präzision und Recall zugleich zu optimieren.¹⁰

Diese Erweiterungen gewinnen insbesondere in komplexen Anwendungsszenarien an Bedeutung, bei denen reine Ähnlichkeitsmetriken nicht ausreichen.

Bedeutung und Anwendung

RAG verbindet generative Sprachverarbeitung mit dynamischem Zugriff auf externes Wissen und bildet damit eine zentrale methodische Grundlage für präzise, kontextbezogene Textgenerierung. Besonders im Software Engineering eröffnet RAG neue Perspektiven für die Hochschullehre – etwa zur Begleitung projektorientierter Lernformate, zur Konzeption dynamischer Prüfungsszenarien oder zur Kontextualisierung lehrplanbezogener Fragestellungen.