Kapitel 5 — Input-Validierung und Output-Filterung

Fünfter Beitrag im Kapitel-für-Kapitel-Walkthrough zu LLM Primer VII: KI-Sicherheit. Das Kapitel überführt den geschichteten Mitigations-Rahmen von Kapitel 4 in operative Disziplin — Sanitisierungsstufen, Guardrail-Werkzeuge, strukturierte Ausgabe, Red Teaming und Sicherheitsmetriken, die etwas bedeuten.

Warum es dieses Kapitel gibt

Die vierschichtige Mitigations-Architektur aus Kapitel 4 ist nur so gut wie ihre Schichten operativ sind. Kapitel 5 entwickelt zwei davon: die Eingabeseite, wo Nutzeranfragen inspiziert und entweder durchgelassen, transformiert oder verweigert werden; und die Ausgabeseite, wo die Antwort des Modells gegen eine zweite Reihe von Toren geprüft wird, bevor sie das System verlässt. Ringsherum stehen die Disziplinen strukturierten Promptings, adversarialen Testens und Sicherheitsmessung. Die Werkzeuge sind gereift — Llama Guard, NeMo Guardrails, Lakera Guard, AWS Bedrock Guardrails, Garak, PyRIT, promptfoo — und die operativen Muster für ihre Verdrahtung sind konvergiert.

5.1 Sanitisierung ist gestuft, nicht einmalig

„Eingabe sanitisieren" trägt irreführende Konnotationen aus der SQL-Injection-Ära. In LLM-Systemen ist Sanitisierung ein gestufter Prozess — prüfen, klassifizieren, transformieren, durchlassen oder verweigern —, dessen Ausgabe keine „saubere" Eingabe ist, sondern eine Eingabe, die eine Reihe von Policy-Toren mit dokumentiertem Ergebnis passiert hat. Die Pipeline hat typischerweise vier Prüfarten, sortiert nach Kosten. Strukturelle Prüfungen sind am billigsten: Längenlimits, Zeichensatz-Beschränkungen, Unicode-NFKC-Normalisierung, Entfernen zero-width-Zeichen und ähnlicher, die den Großteil der Smuggling-Literatur ausmachen. Musterbasierte Prüfungen fangen explizite Overrides und bekannte adversariale Vorlagen; sie sind in beide Richtungen rauschig, aber als grobes Sieb nützlich, wenn Treffer geloggt statt blockiert werden. Klassifikationsprüfungen nutzen dedizierte Sicherheitsmodelle — Llama Guard, die OpenAI Moderation API und Äquivalente von Lakera und AWS Bedrock —, um die Eingabe gegen eine definierte Taxonomie zu bewerten. LLM-basierte Prüfungen, die teuerste Stufe, rufen ein kleineres Modell, das über die Absicht argumentiert, wenn die Klassifiziererkonfidenz mittel ist. Jede Stufe hat eine Falsch-Positiv- und Falsch-Negativ-Rate, und beide sind zu messen, bevor der Pipeline mit produktivem Traffic vertraut wird.

5.2 Strukturierte Ausgabe ist Abwehr, nicht nur Formatierungskomfort

Die Defense-in-Depth-Architektur aus Kapitel 4 hat eine dritte strukturelle Schicht, die dieses Kapitel entwickelt: die Ausgabe des Modells auf ein definiertes Schema einschränken, so dass selbst eine durch Injection beeinflusste Ausgabe die strukturelle Hülle nicht verlassen kann. Die einfachste Form ist schemaerzwungenes JSON. Das Modell wird angewiesen, JSON gemäß einem Schema auszugeben; die Anwendung parst und validiert; nicht-konforme Ausgaben werden abgelehnt oder wiederholt. Jason Lius Bibliothek instructor wickelt die OpenAI- und Anthropic-Clients um Pydantic-Modelle — die Entwicklerin schreibt eine Klasse, die die Ausgabestruktur beschreibt, und die Bibliothek erledigt Prompt-Konstruktion, Validierung und Wiederholung. Microsoft Research Guidance geht weiter und beschränkt die Token-für-Token-Generierung gegen eine Vorlage, die genau festlegt, welche Positionen freien Text enthalten dürfen. Auf der Output-Moderationsseite ist Metas Llama-Guard-Familie — Versionen 1 bis 3, mit multimodaler Abdeckung ab Version 3 — im Fenster 2023–2025 zum kanonischen Open-Weight-Klassifizierer geworden, in die meisten Produktions-Stacks als Antwortfilter integriert. NVIDIA NeMo Guardrails und die kommerziellen Angebote von Lakera, AWS Bedrock und Cisco AI Defense konkurrieren auf ähnlichem Terrain.

5.3 Eine ungemessene Abwehr ist keine Abwehr

Red Teaming ist das, was eine Sicherheitsaussage in eine Messung überführt. Manuelles Red Teaming — geschulte adversariale Tester, oft extern — produziert spezifische Prompts, die gegen das Deployment erfolgreich waren, gruppiert nach Angriffsmuster. Automatisiertes Red Teaming skaliert die manuelle Arbeit über den Eingaberaum. NVIDIA Garak, 2023 open-gesourct und kontinuierlich aktualisiert, läuft eine Batterie von Sonden gegen einen Zielendpunkt und meldet, welche erfolgreich waren; die Sonden decken Prompt-Injection, Datenleck, Hasssprache-Elizitierung, Codierungs-Smuggling, Rollenspiel-Jailbreaks und mehr ab. Microsoft PyRIT (Python Risk Identification Toolkit), 2024 veröffentlicht, ergänzt ein agentisches Red-Team-Muster, in dem ein Modell Angriffe gegen ein anderes generiert. promptfoo vergleicht Prompts und Modelle gegen Evaluationssets, nützlich, wenn die Frage lautet, welche Konfiguration sicherer ist. Die relevanten Metriken komponieren zwei Fehlermodi. Die Angriffserfolgsrate beantwortet „welcher Anteil einer definierten Angriffsmenge kommt durch?" Die Verweigerungskalibrierung beantwortet „welcher Anteil verweigerter Anfragen hätte nicht verweigert werden sollen?" Ein System mit null Angriffserfolg und 50 % Verweigerungsrate hat das Problem nicht gelöst; es hat die Kosten von unsicheren Ausgaben auf unhilfreiche verschoben. Beide Metriken verlangen gelabelte Stichproben aus echten Traffic-Verteilungen, und beide sind von der Zusammensetzung der Evaluationsmenge abhängig. Eine einzelne Zahl ohne die Zusammensetzung zu berichten ist der Ort, an dem Sicherheitsaussagen am häufigsten in die Irre führen.

Was Kapitel 5 vorbereitet

Kapitel 6 nimmt speziell retrieval-augmentierte Generierung auf. Die hier entwickelte Eingabeschicht behandelt die Nachricht des Nutzers als unvertrauenswürdigen Teil. RAG-Systeme fügen einen zweiten unvertrauenswürdigen Teil hinzu: die abgerufenen Chunks, deren Provenienz oft weniger sauber ist als die Nachricht des Nutzers. Greshakes indirekte Prompt-Injection, Lius Charakterisierung von Injection-Angriffen gegen LLM-integrierte Anwendungen, Zhongs Vergiftung von Retrieval-Korpora und die neueren PoisonedRAG- und BadRAG-Linien beschreiben alle, wie diese zweite Oberfläche versagt. Kapitel 6 walkt die Vertrauensgrenzen in RAG, die spezifischen Angriffsmuster, die sichere Retrieval-Architektur, auf die sich das Feld konvergiert hat, und die Monitoring-Praktiken, die retrieval-seitige Angriffe zutage bringen, bevor sie zu Vorfällen werden.

Als Nächstes — Kapitel 6: Risiken retrieval-augmentierter Generierung. Vertrauensgrenzen in RAG, bösartige Dokumenten-Injection, Index-Vergiftung über den Embedding-Pfad und das Monitoring, das Angriffe fängt, die die Sanitisierung übersehen hat.