Kapitel 3 — Retrieval-Augmented Generation

Dritter Beitrag der kapitelweisen Tour durch LLM Primer V: Building Real-World LLM Applications. Das Kapitel schreitet die RAG-Pipeline von Anfang bis Ende ab und trennt das Demo, das auf deinen zehn Lieblingsdokumenten läuft, von dem System, das den Kontakt mit deinem echten Korpus überlebt.

Warum dieses Kapitel existiert

Ein Foundation-Modell weiß, was sein Trainingskorpus ihm gezeigt hat, und sonst nichts. Das Produkt, das du baust, braucht das Modell fast sicher, um über Dinge außerhalb dieses Korpus nachzudenken — interne Dokumente, die Tickets der letzten Woche, die Bestellhistorie des Kunden, eine Policy, die heute Morgen ausgerollt wurde. Retrieval-Augmented Generation ist die Ingenieurdisziplin, die diese Lücke schließt: Zur Query-Zeit relevantes Material aus einem System-of-Record holen, es in den Prompt formatieren und das Modell dagegen generieren lassen. Die naive Variante ist ein Embedding-Aufruf und ein Top-k-Lookup. Die Produktionsvariante ist eine Pipeline mit Chunking-Strategie, Query-Transformation, hybridem Scoring, Reranker und Evaluationsschleife. Kapitel 3 schreitet die Pipeline von Anfang bis Ende ab und danach die Techniken, die aus einer Demo-Pipeline eine Bereitstellung machen.

3.1 Die fünfstufige Pipeline und hybrides Retrieval

Die minimale RAG-Pipeline hat fünf Stufen, und jede interagiert mit den anderen auf Weisen, die im Rückblick offensichtlich sind. Loader bewahren Struktur — Überschriften, Sektionspfade, Zeitstempel, Quell-URLs, Zugriffssteuerungs-Label —, weil alles Nachgelagerte davon abhängt, was der Loader festgehalten hat. Chunker schneiden entlang der natürlichen Körnung des Dokuments, nicht entlang einer beliebigen Token-Zahl. Embedder projizieren Chunks in einen Vektorraum, dessen Geometrie vollständig von der Trainingsverteilung des Embedding-Modells bestimmt ist. Retriever finden die nächsten Nachbarn. Generatoren werden mit dem abgerufenen Kontext geprompt, und die Rahmung zählt: „Antworte ausschließlich anhand des Kontexts unten und antworte sonst ‘Ich habe diese Information nicht’“ ist das einzelne wirksamste Halluzinationsminderungsmuster in der produktiven RAG. Reines Dense-Retrieval versteht Paraphrasen, verpasst aber exakte Bezeichner; lexikalisches Retrieval fängt Bezeichner, verpasst aber Semantik; hybrides Retrieval, fusioniert per Reciprocal Rank Fusion, holt beide Effekte, und ein Cross-Encoder-Reranker über die fusionierten Top-50 kauft weitere zehn bis zwanzig Prozent Präzision.

3.2 Chunking ist der Ort, an dem Qualität lebt oder stirbt

Der Default „alle 500 Tokens teilen, mit 50 Tokens Überlappung“ funktioniert für einen überraschenden Anteil generischer Korpora und scheitert an fast jedem spezialisierten. Der strukturelle Chunker geht HTML oder Markdown auf Überschriftenebene durch und emittiert einen Chunk pro Blattsektion, präfixiert mit der Breadcrumb der Vorfahren-Überschriften. Der Parent-Child-Chunker embeddet kleine Child-Chunks für Retrieval-Präzision, expandiert jeden Treffer aber auf seinen Elternabsatz, bevor er ihn dem Generator übergibt, und entkoppelt so Retrieval-Einheit von Kontexteinheit. Der semantische Chunker durchläuft eine Satz-Embedding-Sequenz und teilt dort, wo das Thema wechselt. Komponiert, strukturell zuerst und semantisch innerhalb langer Sektionen, decken die zwei Muster fast jeden Quelltyp ab, den ein echter Korpus enthält. Und jeder Chunk trägt Anreicherungs-Metadaten — Quelle, URL, Zeitstempel, Überschriftenpfad, Sprache, Sichtbarkeitsbereich —, weil das die Felder sind, die abgerufene Chunks attributierbar, filterbar und für den Rest des Systems lesbar machen.

3.3 Query-Transformation, multimodal und Text-zu-SQL

Die Query des Nutzers ist selten die ideale Query fürs Retrieval. Multi-Query-Expansion bittet das Modell um mehrere Umformulierungen, retrievt für jede und fusioniert. HyDE — Hypothetical Document Embeddings — bittet das Modell, eine plausible Antwort zu erfinden, und embeddet diese statt der Frage, in der Annahme, dass Antworten in einer anderen Region des Embedding-Raums leben als Fragen. Step-Back-Prompting erzeugt eine allgemeinere Version der Frage, retrievt gegen beide und lässt das Modell die Rahmung nutzen, um den konkreten Fall zu beantworten. Decomposition zerlegt eine zusammengesetzte Frage in Teilfragen, die der Retriever einzeln handhaben kann. Iteratives Retrieval lässt das Modell entscheiden, was als Nächstes geholt wird — die Brücke zwischen RAG und Agenten. RAG reicht auch über Text hinaus: CLIP-artige gemeinsame Bild-Text-Embedding-Räume unterstützen multimodales Retrieval, und Text-zu-SQL behandelt Datenbankschemata als Retrieval-Korpus und generiert Queries gegen eine Lese-Replika mit Timeout. Ein Router wählt die richtige Transformation pro Query, statt alle laufen zu lassen.

Was Kapitel 3 vorbereitet

RAG ist eine Fähigkeit unter vielen. Ein produktiver Assistent lebt selten allein von Retrieval: Er muss die letzten Bestellungen eines Kunden holen, den Bestand in einem anderen System prüfen, die Ergebnisse zusammenfassen, eine klärende Frage stellen und selbst entscheiden, wann er was tut. Die natürliche Rahmung für dieses Verhalten ist agentisch — das Modell wählt aus einer Menge von Werkzeugen, das System führt das gewählte Werkzeug aus, das Ergebnis kehrt zum Modell zurück, und die Schleife läuft, bis die Aufgabe erledigt ist. Retrieval ist in dieser Rahmung ein Werkzeug, nach dem der Agent greifen kann. Kapitel 4 verwandelt die Hülle in einen Agenten: die ReAct-Schleife, Tool-Schemata als Verträge und die drei Speicherschichten, die einen Agenten Zustand über Turns hinweg halten lassen.

Als Nächstes — Kapitel 4: KI-Agenten und Tool-Calling. Die Schleife, die aus einem zustandslosen Modell einen Akteur macht, der ein Ziel verfolgt — mit Werkzeugen, Gedächtnis und harten Grenzen gegen entlaufenes Verhalten.