LLM Primer VII — Einführung in die Reihe & Index
Ein Kapitel-für-Kapitel-Walkthrough zu LLM Primer VII: KI-Sicherheit — dem Reihenfinale, in dem der Ingenieursbogen des LLM Primer bei der Disziplin ankommt, die entscheidet, ob irgendetwas davon Angreifer, Regulatoren oder die alltäglichen Fehlermodi probabilistischer Systeme überlebt.
Warum es diese Reihe gibt
In der klassischen Sicherheit sind Code und Daten verschiedene Dinge. Parser, Escaping und parametrisierte Abfragen ruhen alle auf dieser Trennung. In LLM-Systemen trägt derselbe String die Anweisungen der Entwicklerin, die Eingabe des Nutzers, das abgerufene Dokument, das Werkzeugergebnis und alles, was das Modell während des Trainings gesehen hat und einer dieser Kategorien ähnelt. Es gibt keine syntaktische Position, die für einen Transformer nachweislich inert wäre, und keinen Teilstring, den das Modell garantiert als Daten und nicht als Anweisung liest. Diese strukturelle Kollision ist der Grund, warum Prompt-Injection, Jailbreaks und adversariale Angriffe keine Implementierungsfehler sind, die man patcht, sondern Designfolgen, die man verwaltet. Die Sicherheitsdisziplin für LLM-Systeme erbt das Vokabular klassischer Sicherheit — Assets, Angreifer, Kontrollen, Vorfälle — und baut das Substrat darunter neu auf. Band VII ist dieser Neuaufbau in Schriftform, vom Bedrohungsmodell bis zur regulatorischen Peripherie.
Für wen ich das geschrieben habe
Sicherheitsingenieurinnen, die jetzt ein LLM in Produktion betreiben und sich fragen, welche Teile ihres bestehenden Playbooks noch greifen. ML-Ingenieure, die das Modell trainiert oder feingetunt haben und nun überlegen müssen, wer es angreifen könnte. Platform-Leads und SREs, die den Inferenz-Stack fahren und einen Piepser bekommen, wenn Missbrauchsmuster ausschlagen. CISOs, die KI-Deployments freigeben und gegenüber Vorständen, Regulatoren und Auditoren erklären müssen, was „sicher" heißt, wenn die Komponente Wahrscheinlichkeitsverteilungen ausgibt. Das Buch setzt Vertrautheit mit Produktions-Engineering voraus und verlangt keine Vorkenntnisse in adversarialem ML; es baut die modellzentrischen Teile aus ersten Prinzipien auf und verbindet sie mit den bestehenden Sicherheitsdisziplinen dort, wo die Verbindung real ist.
Wie man es liest
Die siebzehn Kapitel gliedern sich in sechs Teile. Die Kapitel 1–3 legen die Grundlagen — warum KI-Sicherheit anders ist, wie man ein LLM-System bedrohungsmodelliert und die Datendimension über den gesamten Lebenszyklus. Die Kapitel 4–6 walken die Prompt- und Interaktionsschicht: Prompt-Injection, Input- und Output-Filterung und retrieval-augmentierte Generierung. Die Kapitel 7–9 gehen das Modell selbst durch: Halluzinationen als Zuverlässigkeitsversagen, adversariale Angriffe und die Modell-Lieferkette. Die Kapitel 10–12 walken die Systemarchitektur rund um das Modell — Isolation, Observability und Zugriffssteuerung. Die Kapitel 13–15 walken die Governance-Peripherie — Regulierung, verantwortliche KI und die Organisation, die die Disziplin trägt. Kapitel 16 walkt Fine-Tuning als eigene Sicherheitsoberfläche, und Kapitel 17 schließt mit den entstehenden Bedrohungen, die sich noch formen.
Der 17-Kapitel-Walk
Zwischen dem 10. und dem 26. Mai postet der Walkthrough ein Kapitel pro Tag. Jeder Artikel destilliert die drei Schlüsselideen des Kapitels in eine etwa fünfminütige Lektüre; das Buchkapitel trägt die durchgearbeiteten Beispiele, den Code und die „In Plain English"-Sidebars.
- 10. Mai — Kapitel 1 — Warum KI-Sicherheit anders ist. Klassische Sicherheit gegen modellzentrische Sicherheit; warum LLMs die Code/Daten-Trennung brechen und die Verhaltenshülle zur Angriffsfläche machen.
- 11. Mai — Kapitel 2 — Bedrohungsmodellierung für LLM-Systeme. STRIDE, PASTA und MITRE ATLAS angewendet auf Assets, Angreifer und Angriffsflächen von LLMs.
- 12. Mai — Kapitel 3 — Datensicherheit und Datenschutz. Risiken der Trainingsdaten, Memorisation und Extraktion, die Samsung- und Garante-Vorfälle sowie Verschlüsselungs-, Isolations- und Aufbewahrungsdisziplin.
- 13. Mai — Kapitel 4 — Prompt-Injection und Jailbreaks. Direkte und indirekte Injection, Jailbreak-Taxonomien, universelle Suffixe und warum die Abwehr geschichtet statt syntaktisch sein muss.
- 14. Mai — Kapitel 5 — Input-Validierung und Output-Filterung. Gestufte Sanitisierung, strukturiertes Prompting, Llama Guard, Red Teaming mit Garak und PyRIT und ehrliche Sicherheitsmetriken.
- 15. Mai — Kapitel 6 — Risiken retrieval-augmentierter Generierung. Vertrauensgrenzen in RAG, bösartige Dokumenten-Injection, Index- und Embedding-Vergiftung und Monitoring des Retrieval-Pfads.
- 16. Mai — Kapitel 7 — Halluzinationen und Zuverlässigkeit. Warum Modelle fabulieren, Kalibrierung und Temperature Scaling, hybride Verifikationsarchitekturen und wirksame Human-in-the-Loop-Muster.
- 17. Mai — Kapitel 8 — Adversariale Angriffe auf Modelle. Die Linie von FGSM über TextFooler zu universellen Suffixen, Black-Box-API-Angriffe und Model-Stealing als Vertraulichkeitsproblem.
- 18. Mai — Kapitel 9 — Modellintegrität und Lieferkettenrisiken. BadNets, Sleeper Agents, Pickle-Deserialisierung gegen Safetensors, Sigstore und Monitoring auf Verhaltensdrift.
- 19. Mai — Kapitel 10 — Sichere LLM-Architekturen entwerfen. Isolation, mehrstufige Validierung, OPA und Cedar als Policy-Engines, sicheres API-Design und Zero Trust angewendet auf Modellaufrufe.
- 20. Mai — Kapitel 11 — Observability, Logging und Incident Response. Was mit den OpenTelemetry-GenAI-Konventionen zu loggen ist, Missbrauchserkennung, Alerting und NIST-geprägte Incident-Playbooks.
- 21. Mai — Kapitel 12 — Zugriffssteuerung und Identität. OAuth, mTLS, RBAC gegen ABAC, mandantenübergreifende Isolation, Rate Limits und das Enterprise-Governance-Overlay.
- 22. Mai — Kapitel 13 — Regulatorische Landschaft. Der gestufte Anwendungspfad des EU AI Act, die DSGVO in Anwendung auf KI, Auditierbarkeit, Model Cards und Risikoklassifizierungs-Frameworks.
- 23. Mai — Kapitel 14 — Bias, Fairness und verantwortliche KI. Quellen von Bias, Fairness-Benchmarks und ihre Grenzen, der Sicherheit-Nutzen-Kompromiss und organisatorische KI-Policy.
- 24. Mai — Kapitel 15 — Eine sichere KI-Organisation aufbauen. KI-spezifische Sicherheitskultur, interne Red Teams, Vendor-Risiko, kontinuierliche Evaluation und langfristige Modell-Stewardship.
- 25. Mai — Kapitel 16 — Sicheres Fine-Tuning und Adaption. Alignment-Erosion durch gutartige Daten, gezielte Vergiftung, Evaluations-Gates in CI und Rollback-Disziplin.
- 26. Mai — Kapitel 17 — Künftige Bedrohungen und aufkommende Abwehr. Autonome Agenten und der Blast Radius der Werkzeugnutzung, multimodale Angriffsflächen, synthetische Identität und KI-gegen-KI-Assurance.
Über dieses Buch und die Reihe
Die LLM-Primer-Reihe umfasst sieben Bände, geschrieben von Sho Shimoda, veröffentlicht auf Amazon KDP und hier auf dem ReceiptRoller-Blog Kapitel für Kapitel gelesen. Die Reihe argumentiert, dass Bauen mit LLMs eine Systemdisziplin ist, und dass diese Disziplin am besten dadurch gelernt wird, dass man jede Schicht des Stacks in mechanismusorientierter Prosa durchgeht statt in Checklistenform. Band VII schließt diesen Bogen. Er ist der Sicherheitsband, und er ist zugleich der Band, der die anderen sechs mit adversarialer Brille noch einmal liest — die Retrieval-Pipeline von Band III als Injection-Kanal, den Inferenz-Stack von Band VI als Rate-Limit-Grenze, die Alignment-Arbeit von Band II als Angriffsfläche für Fine-Tuning. Wo die früheren Bände sagten „so funktioniert es", sagt dieser „so kann man es zum Scheitern bringen, und was dagegen zu tun ist".