Kapitel 6 — Feinabstimmung und Adaption

Dies ist Teil 6 einer Serie, die LLM Primer I: How Generative AI Works durchgeht. Gestern haben wir gesehen, wie ein Basismodell trainiert wird. Heute schauen wir, was danach passiert: wie ein vortrainiertes Modell zu einem nützlichen Produkt wird, und warum die Techniken dafür in vielen Fällen wichtiger geworden sind als das zugrundeliegende Modell.

Pretraining ist breit. Adaption ist spezifisch.

Ein frisch vortrainiertes großes Sprachmodell ist ein seltsames Wesen. Es hat eine riesige Menge an Struktur aus Text aufgesogen — Grammatik, Fakten, Redewendungen, Code-Muster, Zitierstile, Witze, Fehler, Ideologien, die ganze Suppe — aber es hat keine Meinung dazu, welches davon es wann produzieren sollte. Frag es "Was ist die Hauptstadt Frankreichs?" und es könnte mit "Paris" antworten oder weitermachen, als wäre es ein Quizbuch ("Was ist die Hauptstadt Deutschlands? Was ist die Hauptstadt Italiens?"). Niemand hat ihm gesagt, dass du eine direkte Antwort wolltest.

Adaption ist die Familie von Techniken, die das beheben. Das vortrainierte Modell weiß bereits fast alles, was es je in irgendeinem nützlichen Sinne wissen wird; Adaption formt um, wie und wann dieses Wissen ausgedrückt wird. Kapitel 6 geht das Adaptionsspektrum vom leichtesten Touch zum schwersten durch.

Der billigste Zug: einfach einen besseren Prompt schreiben

Die leichteste Form der Adaption kostet nichts und ändert keinen Parameter. Du gibst einfach Kontext im Prompt vor, der das Modell in Richtung der Ausgabe schiebt, die du willst. Zeige ihm zwei oder drei Beispiele der Aufgabe und bitte es, eine weitere zu machen. Formuliere die Regeln explizit. Definiere die Rolle, die das Modell spielen soll.

Das nennt man Prompt-basierte Adaption, und wenn es funktioniert, ist es die richtige Antwort. Keine Trainingspipeline, keine GPU-Rechnung, kein Risiko, etwas zu zerbrechen. Das Buch erklärt, wann Prompt-basierte Adaption an ihre Grenzen stößt — und das tut sie — und wie du erkennst, dass du sie überschritten hast.

Instruction Tuning: dem Modell beibringen, dir zu folgen

Instruction Tuning ist die leichteste Form echter Feinabstimmung, und sie ist diejenige, die rohe vortrainierte Modelle in die responsiven Assistenten verwandelte, die du tatsächlich benutzt. Die Idee ist einfach: Du zeigst dem Modell viele Beispiele von Instruktions-Antwort-Paaren ("Fasse diesen Absatz in einem Satz zusammen: …") und trainierst auf diesen Beispielen für eine relativ kurze Zeit.

Nach Instruction Tuning hat das Modell die allgemeine Fähigkeit verinnerlicht, "dem zu folgen, was im Prompt steht". Es braucht keine expliziten Beispiele mehr. Das ist einer der Gründe, warum sich ein Chatbot wie ein Chatbot anfühlt statt wie ein Autovervollständigung auf einer Schreibmaschine.

Parametereffiziente Feinabstimmung

Volle Feinabstimmung — jeden Parameter im Modell zu aktualisieren — ist teuer und riskiert die allgemeinen Fähigkeiten des Modells zu verschlechtern. Die letzten paar Jahre haben eine Familie von Techniken hervorgebracht, die dir erlauben, ein großes Modell zu adaptieren, indem du nur einen winzigen Bruchteil der Parameter trainierst — oft weniger als 1%.

Die populärste Technik heißt LoRA (Low-Rank Adaptation). Sie funktioniert, indem sie kleine Matrizen neben die eingefrorenen Gewichte des Modells einfügt und nur diese Matrizen trainiert. Das Ergebnis ist eine winzige Adapter-Datei — oft wenige Megabyte — die, kombiniert mit dem Basismodell, das feinabgestimmte Verhalten produziert. Varianten wie QLoRA gehen noch weiter, indem sie auch das Basismodell quantisieren, sodass das Ganze auf einen einzelnen Beschleuniger passt.

Das ist die Technik, die domänenspezifische Feinabstimmung für Organisationen praktikabel macht, die nicht ihre eigenen Basismodelle trainieren. Das Buch enthält eine Tabelle, die die wichtigsten parametereffizienten Techniken nebeneinander vergleicht, damit du die richtige für deinen Anwendungsfall wählen kannst.

Alignment: das Post-Training, auf das es wirklich ankommt

Das ist der Abschnitt, auf den ich in der Ausgabe 2026 am stolzesten bin, denn Alignment ist dort, wo sich das Feld am schnellsten bewegt hat und wo die meisten Leser das verschwommenste Verständnis haben. Die Kernidee ist diese: Selbst nach Instruction Tuning wird ein Modell manchmal Ausgaben produzieren, die du nicht willst — falsch, unsicher, off-policy, unhilfreich. Alignment ist die Familie von Techniken, die die Wahrscheinlichkeitsverteilung des Modells so formt, dass sie Ausgaben bevorzugt, die Menschen vorziehen würden.

Der erste breit eingesetzte Ansatz war Reinforcement Learning aus menschlichem Feedback (RLHF). Menschliche Reviewer vergleichen Paare von Modellausgaben und geben an, welche besser ist. Diese Urteile trainieren ein Reward-Modell, das menschliche Präferenz vorhersagt. Das Basismodell wird dann mit Reinforcement Learning feinabgestimmt, wobei das Reward-Modell als Trainingssignal dient. Das produzierte dramatische Verbesserungen, war aber notorisch instabil und teuer.

Eine zweite Generation von Methoden — Direct Preference Optimization (DPO) und ihre Varianten — vereinfachte die Pipeline. Sie behandeln die paarweisen Präferenzen als direktes überwachtes Signal und eliminieren das separate Reward-Modell und den Reinforcement-Learning-Schritt. Das Ergebnis ist stabiler, billiger und reproduzierbar.

Eine dritte Familie — konstitutionelle Methoden und KI-Feedback-Varianten — ersetzt einen Teil der menschlichen Review-Arbeit durch Vergleiche, die von einem stärkeren Modell generiert werden, das Ausgaben gegen einen schriftlichen Satz von Prinzipien beurteilt. Das skaliert Alignment-Daten weit über das hinaus, was menschliche Review allein produzieren kann.

Was Kapitel 6 vorbereitet

Am Ende von Kapitel 6 verstehst du die vollständige Adaptionspipeline: von Prompt-Tricks bis zu Alignment. Du kannst Ankündigungen neuer Modelle lesen und korrekt zwischen "sie haben eine neue Basis trainiert" (selten und teuer) und "sie haben das Post-Training aktualisiert" (häufig und wirkungsvoll) unterscheiden. Und du hast einen Rahmen, um zu entscheiden, welche Adaptionstechnik du für deine eigene Arbeit nutzen solltest.

Als Nächstes — Kapitel 7: Jenseits der Vorhersage des nächsten Tokens. Morgen gehen wir über die grundlegende Generierungsschleife hinaus. Embeddings, semantische Suche, Retrieval-Augmented Generation (RAG) und die multimodalen Erweiterungen, die Modellen erlauben, mit Bildern und Audio zu arbeiten.