Kapitel 17 — Künftige Bedrohungen und aufkommende Abwehr

Siebzehnter und abschließender Beitrag im Kapitel-für-Kapitel-Walkthrough zu LLM Primer VII: KI-Sicherheit. Das Kapitel blickt über die bereits reifen Disziplinen hinaus und benennt jene, die die Community noch ausarbeitet — autonome Agenten, multimodale Angriffsflächen, synthetische Identität und das KI-gegen-KI-Wettrüsten von Mitte 2026.

Warum es dieses Kapitel gibt

Die Kapitel 1 bis 16 haben die Sicherheitsdisziplinen behandelt, die bereits reif genug sind, um niedergeschrieben zu werden. Kapitel 17 walkt jene, die sich noch formen. Der Kontrast zählt. Die früheren Kapitel beantworteten „wir wissen, wie das geht, und die Frage ist, ob deine Organisation es tun wird". Dieses beantwortet „die Community arbeitet noch aus, wie gut aussieht, und die Antworten nächstes Jahr können andere sein als dieses Jahr". Beide Arten Arbeit sind real, und beide gehören ins Repertoire der Ingenieurin. Die erste hält Systeme heute sicher. Die zweite hält sie in zwei Jahren sicher.

In einem Satz: Der Blast Radius eines Agenten ist die Größe seines Werkzeugsets multipliziert mit der Zahl der Schritte, die er nehmen darf; die Eingabefläche eines multimodalen Modells ist Größenordnungen größer als die eines rein textbasierten; und sowohl Verteidiger als auch Angreifer sind mittlerweile selbst Modelle.

17.1 Autonome Agenten multiplizieren den Blast Radius mit dem Werkzeug-Budget

Ein autonomer Agent ist ein System, in dem einem Sprachmodell ein Ziel, eine Menge von Werkzeugen und die Autorität gegeben werden, diese Werkzeuge nacheinander ohne Human Review pro Schritt zu rufen. Das Modell entscheidet, was als Nächstes zu tun ist; Werkzeuge führen aus; Ergebnisse werden zurückgespielt; die Schleife läuft, bis das Ziel erreicht ist oder eine Stoppbedingung greift. AutoGPT und BabyAGI haben das Muster Anfang 2023 öffentlich prototypisiert; LangChain hat es formalisiert; Anthropics Claude Computer Use (Oktober 2024) und OpenAIs Operator (Januar 2025) haben es in kommerzielle Produkte überführt, die einem Modell Autorität über einen Browser oder einen Desktop geben. Die Sicherheitseigenschaften sind qualitativ anders als bei Einzel-Turn-Generierung. Ein Modell, das eine Vervollständigung produziert, hat die Autorität, Text zu schreiben, auf den die Anwendung reagieren könnte. Ein Modell, das einen Browser bedient, hat im schlimmsten Fall die Autorität zu tun, was ein Browser tun kann, ohne einen menschlichen Prüfpunkt. Die aus den früheren Kapiteln komponierten Mitigationen — Werkzeug-Allow-Listen, Capability-Tokens mit engem Scope, Policy-Prüfungen pro Werkzeug außerhalb des Modells, menschliche Bestätigung für hochwirksame Aktionen, harte Schrittlimits, Budgetobergrenzen — gelten hier mit verschärfter Betonung. Die Autonomie des Agenten ist eine Entwurfsentscheidung vor jedem konkreten Vorfall, und das Design entscheidet die Obergrenze jeder Kompromittierung.

17.2 Multimodale Oberflächen weiten den Injection-Kanal um Größenordnungen

Ein rein textbasiertes Modell liest, was der Tokenizer erkennt. Ein Vision-Language-Modell liest Bilder, deren Pixel-Bandbreite alles übersteigt, was Text tragen kann, und die umgebende Anwendung kann meist nicht so inspizieren, was ein Bild enthält, wie sie es bei einem String kann. Schlarmann und Hein zeigten 2023 in „On the Adversarial Robustness of Multi-Modal Foundation Models", dass für Menschen unmerkliche Perturbationen eines Bildes die Textausgaben eines VLM substanziell verändern konnten — der klassische adversariale-Beispiel-Angriff an eine neue Modalität angepasst. In Bilder eingebetteter Text (Screenshots, Memes, Dokumentenscans) ist eine weitere Oberfläche: OCR-erkannte Anweisungen in einem Bild können indirekte Prompt-Injection über den visuellen Kanal sein. Audio-Sprach-Modelle nehmen gesprochene Eingabe; adversariale Audio-Perturbationen, teils für Menschen unhörbar, wurden demonstriert. Video fügt beide Kanäle zusammen. Jede Modalität ist eine neue Injection-Oberfläche, und defensive Arbeit beginnt erst aufzuholen: Prä-VLM-Scanner, die OCR-erkannten Text in Bildern markieren oder entfernen; Provenienz-Tags auf multimodalen Eingaben; Alignment-Training, das visuelle und Audio-Kanäle mit derselben Skepsis wie Text behandelt; und modalitätsbewusste Output-Filterung. Das Muster aus früheren Kapiteln — Vertrauensgrenzen nicht in eine einzelne Eingabe kollabieren lassen — erstreckt sich auf Modalitäten, die die früheren Kapitel nicht benennen mussten.

17.3 Synthetische Identität und KI-gegen-KI formen den Perimeter um

Die ersten beiden Abschnitte haben das Modell als Ziel behandelt. Der dritte behandelt es als Werkzeug. Ein generatives Modell, dessen Ausgaben von authentischer menschlicher Produktion ununterscheidbar sind, untergräbt jeden Sicherheitsmechanismus, der von der Erkennbarkeit der Authentizität abhängt. Synthetische Stimme, aus Minuten Sprache generiert, speist Vishing gegen Finanzmitarbeitende, die die Stimme des CEO erkennen. Deepfake-Video fabriziert Aufnahmen öffentlicher Figuren. Synthetischer Text imitiert die Schreibweise einer spezifischen Person im Business-E-Mail-Compromise. Nichts davon ist 2026 exotisch; die Werkzeuge sind Commodity, die Kosten pro Generierung sind Pfennige. Die defensive Antwort war Provenienz-Infrastruktur — C2PA für Content Credentials, Wasserzeichen-Forschung, kryptografische Signierung authentischer Medien — und Aufwertung der Identitätsverifikation dort, wo hochwirksame Entscheidungen an Kanal-Authentizität hängen. Die weitere defensive Bahn ist KI-gegen-KI: Sicherheitssysteme auf Sprachmodellen, eingesetzt gegen Angriffe, die von anderen Sprachmodellen erzeugt oder verstärkt werden. Automatisiertes Red Teaming — NVIDIA Garak, Microsoft PyRIT — ersetzt Modell durch Mensch auf der Angreiferseite. Guardrails, Sicherheitsklassifizierer und Anomalieerkennung ersetzen Modell durch Mensch auf der Verteidigerseite. Das Wettrüsten ist unangenehm, aber es ist die operative Realität. KI-Assurance, die aufkommende Disziplin, die zeigt, dass ein KI-System seine Anforderungen mit definierter Konfidenz erfüllt, ist der Versuch, dem Wettrüsten einen stabilen Boden zu geben — kontinuierliche Evaluationsinfrastruktur, Dritt-Zertifizierung, Normen zur Vorfall-Offenlegung und die Standardisierungsarbeit, die die ISO/IEC-42001- und NIST-AI-RMF-Communities fortsetzen.

Wert, das festzuhalten: Die Disziplinen, die dieses Buch niedergeschrieben hat, sind die reifen. Die Disziplinen, die dieses Kapitel benennt, sind die, die die Community noch ausarbeitet. Beide gehören ins Repertoire der Ingenieurin, und die zweite Menge bewegt sich schneller, als jedes Buch aktualisieren kann.

Die Reihe endet hier

Kapitel 17 ist das letzte Kapitel von LLM Primer VII, und mit ihm das letzte Kapitel der LLM Primer-Reihe als Ganzes. Band I hat die Architektur transformerbasierter Sprachmodelle vom Aufmerksamkeitsmechanismus nach außen eingeführt. Band II hat Training, Alignment und den praktischen Lebenszyklus des Bauens abgedeckt. Band III hat retrieval-augmentierte Generierung und die umgebenden Datenpipelines untersucht. Band IV hat Evaluation, Tooling und die Ingenieurspraktiken betrachtet, die das Modell in Produktion umgeben. Band V hat die Agenten- und Werkzeugnutzungs-Muster durchgearbeitet, die dieses Kapitel nun unter ihrem adversarialen Aspekt behandelt hat. Band VI hat die Inferenzinfrastruktur und Skalierungsmuster im organisatorischen Maßstab abgedeckt. Band VII, dieser hier, war davon, all das zu verteidigen. Die sieben Bände wurden als zusammenhängende Karte geschrieben. Leser, die dieses Kapitel erreichen, ohne die früheren Bände besucht zu haben, sind ermutigt zurückzukehren, denn viele der Sicherheitsaussagen in diesem Buch ruhen auf architektonischen Details, die jene Bände etablieren.

Der Begleitband Physical AI erweitert die Karte auf verkörperte Systeme — Roboter, autonome Fahrzeuge und die Deployments in der physischen Welt, wo dasselbe probabilistische Substrat nun Aktoren steuert und den physischen Raum mit Menschen teilt. Die Sicherheitsanliegen dieses Bandes tragen sich mit Modifikationen hinüber: Prompt-Injection über den Sichtkanal wird zu einer Sicherheitsfrage mit einem Meter physischer Reichweite; die Werkzeuggrenze ist jetzt ein Motorregler; adversariale Eingaben sind Objekte, die in die Betriebsumgebung gestellt werden. Die Disziplinen aus diesen sieben Bänden sind Voraussetzungen für diese Arbeit, keine Substitute, und der Bogen von Transformer-Attention über Infrastruktur bis Sicherheit setzt sich in die physische Welt fort, wo die Einsätze greifbar werden.

Danke fürs Mitlesen des Walkthroughs. Das Buch selbst trägt die durchgearbeiteten Beispiele, den lauffähigen Code, die Incident-Playbooks und die „In Plain English"-Sidebars in längerer Form, als diese Artikel Platz haben. Wenn irgendetwas davon nützlich war, ist der wirkungsvollste nächste Schritt, den Rahmen auf das konkrete System anzuwenden, das die eigene Organisation verteidigt — das Bedrohungsmodell aus Kapitel 2, die geschichteten Mitigationen aus den Kapiteln 4 und 5, die Architekturmuster aus Kapitel 10, die Observability aus Kapitel 11 und die organisatorische Disziplin aus Kapitel 15 sind die tragenden Teile.