Kapitel 16 — Sicheres Fine-Tuning und Adaption

Sechzehnter Beitrag im Kapitel-für-Kapitel-Walkthrough zu LLM Primer VII: KI-Sicherheit. Das Kapitel behandelt ein feingetuntes Modell als Artefakt, dessen Sicherheitseigenschaften verdient und nicht geerbt werden müssen — weil dieselben Gradientenschritte, die Fachvokabular beibringen, auch das Alignment erodieren können, mit dem das Basismodell angekommen ist.

Warum es dieses Kapitel gibt

Fine-Tuning sieht wie eine risikoarme Operation aus. Ein Team nimmt ein gut ausgerichtetes Basismodell, tuned es auf seinen Fachdaten und erwartet, dass das ausgerichtete Verhalten überlebt. Die empirische Literatur ist seit 2023 klar, dass diese Erwartung falsch ist. Qi et al. zeigten 2024 in ihrem ICLR-Paper „Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!", dass selbst gutartige Instruktionsdaten Verweigerungsraten auf Schädlichkeits-Benchmarks senken können. Yang et al.s „Shadow Alignment" 2023 zeigte, dass hundert absichtlich konstruierte Beispiele ein sicher ausgerichtetes Open-Weight-Modell unterwandern können. Das Kapitel walkt die Mechanismen, das Vergiftungs-Bedrohungsmodell, die Evaluations-Gates, die Regressionen in CI fangen, die Alignment-Techniken, die das Tuning-Erodierte wieder installieren, und die Rollback-Disziplin, die schlechte Updates in Routineoperationen verwandelt.

16.1 Alignment erodiert über den Mechanismus, der Verhalten trainiert

Domänen-Adaption ist meist gut begründet. Das Basismodell ist zu allgemein, das Team hat einen Korpus, der die Sprechweise seiner Domäne einfängt, Tuning verengt das Verhalten in etwas Genaueres, Markenkonformeres. Was übersehen wird, ist, dass Verengung nicht kostenlos ist. Dieselben Gradientenschritte, die Domänenvokabular beibringen, gewichten auch jedes andere Verhalten neu, einschließlich der Verhaltensweisen, die das Modell davon abhielten, Biowaffensynthese zu erzeugen oder überzeugendes Phishing zu schreiben. Qi et al. maßen dies direkt, indem sie eine sicherheits-getunte Llama-2-Variante auf dem Alpaca-Instruktionsdatensatz feintunten — öffentlich verfügbar, ohne offensichtlich schädlichen Inhalt — und beobachteten, dass Verweigerungsraten auf Schädlichkeits-Benchmarks substanziell fielen. Nichts im Trainingsset bat das Modell, weniger sicher zu sein. Das Signal wurde durch die Abwesenheit von Verweigerungsdemonstrationen getragen: das Modell lernte, dass hilfreiche Antworten belohnt wurden und Verweigerung selten modelliert wurde, und generalisierte diese Lektion auf Anfragen, bei denen Verweigerung der eintrainierte Default gewesen war. Der Mechanismus ist, was Gradientenabstieg tut, wenn das Ziel „folge der Anweisung" ist und die Demonstrationen fast nie verweigern. Die Mitigationen sind architektonisch — Verweigerungsbeispiele in das Fine-Tuning-Set mischen, Techniken wie DPO oder KTO nutzen, die Referenzmodell-Verhalten erhalten, Sicherheits-Nachtraining nach Domänen-Adaption anwenden —, aber keine ist automatisch.

16.2 Gezielte Vergiftung ist ein Kleine-Daten-Angriff

Wenn versehentliche Erosion der übliche Fall ist, ist Vergiftung der schlimmste. Das Bedrohungsmodell ist einfach: ein Angreifer trägt einen Anteil der Fine-Tuning-Daten bei, mit dem Ziel, ein spezifisches Verhalten einzupflanzen, das der Deployer bei der Evaluation nicht bemerken wird. Das Verhalten kann eine Hintertür sein (getriggerte Ausgabe auf Triggerphrase), ein Verweigerungs-Aufweichen (Compliance, wo das Basismodell verweigerte), eine Inhalts-Einfügung (empfiehlt ein spezifisches Produkt oder eine Partei, wenn unbezogene Fragen gestellt werden) oder eine langfristige Fehlausrichtung, die unter spezifischen Bedingungen aktiviert. Yang et al.s „Shadow Alignment" zeigte, dass hundert adversariale Paare, strukturiert als gewöhnliche Instruktion-Antwort, das Sicherheitsverhalten eines großen Open-Weight-Modells unterwandern konnten. Qi et al. reproduzierten auf ICLR 2024 in kleinerem Maßstab: etwa zehn gut gewählte Beispiele reichten, um Alignment materiell zu kompromittieren. Die Beispiele mussten nicht exotisch sein. Mit gutartigen Daten gemischt sah der Datensatz unauffällig aus. Die Angriffsfläche weitet sich mit der Zahl der Parteien, die Daten beitragen — Kundeneinreichungen an eine Labeling-Pipeline, Contractor beim Labeling, Mitarbeitende bei der Vorbereitung interner Fine-Tuning-Korpora, vorgelagerte offene Datensätze. Jede ist ein potenzieller Injektionskanal, und die defensive Haltung ist Provenienz-Disziplin: jedes Trainingsbeispiel muss auf seinen Ursprung rückführbar sein, und der Ursprung muss auf dem Niveau vertraut sein, das das Fine-Tuning-Ergebnis verlangt.

16.3 Evaluations-Gates und Rollback sind das operative Sicherheitsnetz

Ein feingetunter Checkpoint ist kein einsetzbares Modell. Er ist ein Kandidat. Die Lücke wird durch Evaluation geschlossen — sowohl Fähigkeitsevaluation, die bestätigt, dass das Modell seinen Job noch tut, als auch Sicherheitsevaluation, die bestätigt, dass es nicht regressiert ist. Das richtige mentale Modell ist ein Deployment-Gate, kein Benchmark-Report. Ein Gate hat Bestanden-/Nicht-bestanden-Kriterien, vorab gesetzte Schwellen und eine definierte Konsequenz, wenn Kriterien nicht erfüllt sind — keine Promotion zu Staging, kein Traffic, automatisches Ticket. Unter Termindruck werden Benchmark-Reports beratend; von CI erzwungene Gates halten tatsächlich. Die Alignment-Techniken, die Sicherheit nach Tuning-Erosion wiederherstellen, umfassen das Mischen von Verweigerungsbeispielen in das Fine-Tuning-Set, RLHF oder DPO auf Verweigerungspräferenzen, Constitutional AI (Bai et al., Anthropic, 2022) als Trainingszeit-Ansatz, der ohne menschliches Labeling skaliert, und sicherheits-getuntes Weitertraining auf Canary-Sets. Jedes feingetunte Modell wird irgendwann fehlgehen. Die einzige Frage ist, ob das Team in Minuten auf eine als gut bekannte Version zurückrollen kann oder einen Tag in Incident Response verbringt. Der Unterschied ist Disziplin vor Deployment. Ein Modellregister — MLflow Model Registry, AWS SageMaker, Vertex AI oder hausinterne Äquivalente —, das jedes Artefakt, seine Provenienz, seine Evaluationsergebnisse, seinen Deployment-Status und seine Herkunft verfolgt, ist das grundlegende Muster. Ein Register, das keine Evaluationsergebnisse aufzeichnet, ist ein Artefaktspeicher; ein Artefaktspeicher hilft während eines Rollbacks nicht. Der Rollback selbst muss ein einzelner Befehl sein, dessen Sicherheit eingeübt wurde.

Was Kapitel 16 vorbereitet

Kapitel 17 schließt das Buch mit einem Blick auf die Bedrohungen ab, die Mitte 2026 noch auftauchen: autonome Agenten, die Modellausgaben mit Werkzeugnutzung komponieren und hunderte Schritte ohne Aufsicht laufen; multimodale Modelle, deren Eingabefläche nun Bilder und Audio umfasst; synthetische Identitäten, die die Annahme erodieren, dass die Entität auf der anderen Seite eines Kanals die ist, die sie zu sein behauptet; und das KI-gegen-KI-Wettrüsten, in dem sowohl Angreifer als auch Verteidiger selbst Modelle sind. Die Fine-Tuning-Sorgen aus diesem Kapitel verschwinden in dieser Welt nicht; sie verschärfen sich. Ein Modell, dessen Alignment vor drei Wochen still gedriftet ist, wird zu einem viel größeren Problem, wenn es zugleich Orchestrator eines Agenten mit Shell-Zugriff ist.

Als Nächstes — Kapitel 17: Künftige Bedrohungen und aufkommende Abwehr. Autonome Agenten, multimodale Angriffsflächen, synthetische Identität, KI-gegen-KI-Dynamiken und die Form der KI-Assurance als die Disziplin, zu der sie wird.