Kapitel 8 — Adversariale Angriffe auf Modelle

Achter Beitrag im Kapitel-für-Kapitel-Walkthrough zu LLM Primer VII: KI-Sicherheit. Das Kapitel verfolgt adversariale Angriffe von Goodfellows 2014er-Arbeit an Bild-Klassifizierern über TextFooler und universelle Suffixe bis zum Model-Stealing gegen Produktions-APIs.

Warum es dieses Kapitel gibt

Kapitel 4 hat Prompt-Injection als das praktische Gesicht adversarialer Eingabe in LLM-Systemen behandelt. Kapitel 8 walkt die zugrundeliegende Forschungstradition. Goodfellow, Shlens und Szegedy argumentierten 2014 in „Explaining and Harnessing Adversarial Examples", dass adversariale Eingaben keine Pathologie sind, sondern eine Folge des annähernd linearen Verhaltens von Modellen in hochdimensionalen Eingaberäumen. Diese Rahmung trug in NLP durch Arbeit, die das Diskrete-Eingabe-Problem löste — HotFlip, TextFooler, BERT-ATTACK — und in LLMs durch universelle adversariale Trigger und in jüngerer Zeit durch die Universal-Suffix-Arbeit von Zou et al., die auf geschlossene APIs übertragbar wurde. Neben adversarialer Eingabe steht Model-Stealing, ein Vertraulichkeitsangriff, dessen extrahiertes Surrogat zur Startrampe für adversariale Eingabe wird.

8.1 Die Linie von FGSM zu universellen Suffixen

Goodfellows Fast Gradient Sign Method — jede Eingabedimension um Epsilon mal das Vorzeichen des Gradienten der Verlustfunktion perturbieren — war der kanonische White-Box-Angriff für kontinuierliche Eingaben. Text widersetzte sich diesem Ansatz, weil Tokens diskret sind: entlang des Gradienten des Embeddings zu ziehen verlässt den Tokenraum. Die adversariale NLP-Literatur ging weitgehend darum, gute diskrete Approximationen zu finden. HotFlip (Ebrahimi et al., ACL 2018) nutzte einen Einzel-Zeichen-Flip, der den Verlust am stärksten änderte. TextFooler (Jin et al., AAAI 2020) ersetzte Synonyme mit Beam Search unter Semantische-Ähnlichkeit-Beschränkung. BERT-ATTACK nutzte ein Masked-Language-Model, um Ersatzkandidaten vorzuschlagen. Wallace et al.s universelle adversariale Trigger fanden kurze Token-Sequenzen, die, beliebigen Eingaben vorangestellt, gezieltes Fehlverhalten hervorriefen. Zou et al. zeigten 2023 in „Universal and Transferable Adversarial Attacks on Aligned Language Models", dass gradient-optimierte Suffixe, auf Open-Source-Modellen abgeleitet, auf geschlossene übertrugen, die per API abgefragt wurden — die theoretische Unterscheidung zwischen White-Box und Black-Box brach in der Praxis zusammen, weil Angreifer White-Box-Zugriff auf genügend Surrogatmodelle hatten, um übertragbare Angriffe zu erzeugen. Genau diese Übertragbarkeit machte die Universal-Suffix-Arbeit für Produktions-Deployments relevant, die geglaubt hatten, ihre API-Undurchsichtigkeit sei schützend.

8.2 Black-Box-Angriffe sind billiger, als das API-Budget vermuten lässt

Die kommerziellen LLMs von Belang legen keine Gewichte offen. Das relevante Bedrohungsmodell ist Black-Box: der Angreifer zahlt für API-Zugriff, schickt Anfragen, beobachtet Antworten, verfeinert. Die Literatur hat in dieser Umgebung überraschend starke Angriffe gezeigt. Brute-Force-Suche über Prompt-Varianten deckt kleine Angriffsflächen ab — kurze adversariale Suffixe, Einzelwort-Ersetzungen — und ist das Arbeitspferd des praktischen Jailbreaking. Query-effiziente Methoden nutzen das eigene Antwortsignal des Modells als Proxy für den Gradienten, den der Angreifer nicht direkt berechnen kann: wenn sich die Antwort erkennbar verschiebt, wenn sich ein Token ändert, kann der Angreifer aufs Ziel hin klettern. Automatisierte Jailbreak-Generierung — PAIR (Chao et al. 2023), TAP (Mehrotra et al. 2023) — nutzt ein Angreifer-LLM, das Verfeinerungen gegen Feedback vom Ziel vorschlägt. Die Ökonomie zählt. Abfragekosten sind Pfennige; die Gesamtausgabe des Angreifers, um einen funktionierenden Jailbreak zu entwickeln, liegt oft unter fünfzig Dollar und produziert einen Angriff, der über Nutzer, Sitzungen und manchmal Modellversionen hinweg generalisiert. Das ist ein sehr anderes Angreiferprofil als „jemand mit einem akademischen GPU-Cluster".

8.3 Model-Stealing macht aus Black-Box faktisch White-Box

Model-Stealing — Modell-Extraktion — ist die Klasse, in der das Ziel des Angreifers nicht ist, eine spezifische Ausgabe zu manipulieren, sondern genug vom Verhalten des Ziels zu rekonstruieren, dass die Rekonstruktion als Ersatz dienen kann. Tramèr und Kolleg:innen etablierten 2016 in „Stealing Machine Learning Models via Prediction APIs" (USENIX Security) die Forschungslinie gegen Amazon Machine Learning, BigML und ähnliche Dienste. Krishna und Kolleg:innen zeigten 2020 in „Thieves on Sesame Street" (ICLR) Extraktion gegen BERT-ähnliche Modelle. Carlini und Kolleg:innen demonstrierten 2024 in „Stealing Part of a Production Language Model" (ICML) die Extraktion der Embedding-Projektionsschicht von Produktionsmodellen einschließlich OpenAIs über gezielte API-Anfragen — eine Teilextraktion, die dennoch versteckte Dimensionen und Strukturinformationen offenlegte, die der Anbieter nicht freigeben wollte. Die Sicherheitsfolge, neben dem Verlust der Vertraulichkeit, ist, dass ein extrahiertes Surrogat ein White-Box-Ziel für das Erzeugen übertragbarer adversarialer Beispiele gegen das Original ist. Die defensive Schicht ist kompositorisch: Rate Limiting pro Konto, pro Key, pro IP und pro Mandant; Anomalieerkennung auf Abfragemustern, die auf Extraktion hinweisen (uniforme Verteilungen, systematische Prompt-Variationen, hoch-entropische Ausgaben); und Erkennung adversarialer Eingaben an der Grenze. Wasserzeichen-Forschung zielt darauf, extrahierte Modelle erkennbar zu machen, aber der Stand der Kunst entwickelt sich noch.

Was Kapitel 8 vorbereitet

Kapitel 9 wendet sich einer Klasse von Risiko zu, die fundamentaler ist als konstruierte Eingaben gegen ein als gut bekanntes Modell: Angriffe auf das Modell selbst vor dem Deployment, über die Lieferkette, die es produziert hat. Ein Angreifer, der Trainingsdaten kontrolliert, Modellgewichte an irgendeinem Punkt zwischen Training und Deployment oder Abhängigkeiten zur Inferenzzeit kontrolliert, hat eine stärkere Position als jeder Angreifer im Eingaberaum. Das Kapitel verfolgt die BadNets-Linie von Gu et al. von 2017 durch ihre Übersetzung in LLMs, einschließlich Anthropics 2024er-Arbeit „Sleeper Agents", die zeigt, dass eintrainierte Hintertüren Sicherheitstraining überleben. Es walkt Format-Risiken — Pickle-Deserialisierungs-Schwachstellen katalogisiert als CVE-2024-3568 und benachbarte Einträge, Safetensors als sicherere Alternative — und die Deployment-Pipeline-Muster (Modell-Signierung, Hash-Verifikation, SLSA, Sigstore), die produktive KI-Organisationen angenommen haben, um die Lücke zu schließen.

Als Nächstes — Kapitel 9: Modellintegrität und Lieferkettenrisiken. BadNets, Sleeper Agents, Pickle gegen Safetensors, Sigstore für Modellartefakte und Drift-Monitoring als laufendes Gegenstück zur Deployment-Zeit-Integrität.