Chapitre 2 — Modélisation des menaces pour les systèmes LLM

Deuxième billet de la tournée chapitre par chapitre de LLM Primer VII : Sécurité de l'IA. Le chapitre qui prend les quatre questions de Shostack, STRIDE, PASTA et MITRE ATLAS, et les applique à un système dont le composant le plus puissant lit toute entrée comme potentiellement instructive.

Pourquoi ce chapitre existe

Le chapitre 1 soutenait que la sécurité IA est structurellement différente. Le chapitre 2 donne à cette différence une forme opérationnelle. Les quatre questions d'Adam Shostack — sur quoi travaillons-nous, qu'est-ce qui peut mal tourner, qu'allons-nous y faire, avons-nous bien travaillé — sont les mêmes pour tout système, mais les diagrammes, les inventaires d'actifs et les catalogues d'adversaires qui y répondent ont une autre allure quand le système en question inclut une logique de construction de prompt, un pipeline de récupération, un registre d'outils et une fonction probabiliste qui traite le contenu récupéré sur un pied d'égalité avec les instructions du développeur. Le chapitre parcourt les cadres — STRIDE, PASTA, MITRE ATLAS, NIST AI 100-2 — et produit le gabarit de travail d'un modèle de menace LLM auquel les chapitres suivants ne cessent de revenir.

En une ligne : le modèle de menace d'un système LLM relève de la même discipline que pour tout autre système, mais il doit commencer par un diagramme qui expose la construction du prompt, la récupération, les outils et le traitement des sorties comme des composants distincts — parce qu'« une boîte étiquetée LLM » cache l'essentiel de la structure pertinente pour la sécurité.

2.1 Les cadres s'adaptent, les diagrammes ne peuvent rester paresseux

STRIDE — usurpation, altération, répudiation, divulgation d'information, déni de service, élévation de privilège — se prête étonnamment bien aux systèmes LLM. L'usurpation devient les attaques d'identité sur l'API ou l'imposture d'utilisateur. L'altération devient l'injection de prompt, l'empoisonnement des données d'entraînement et la manipulation de l'index de récupération. La répudiation devient les litiges sur qui a envoyé quel prompt et qui a produit quelle sortie. La divulgation d'information devient l'extraction de données d'entraînement, la fuite de prompt système et l'exposition entre locataires. Le déni de service devient LLM10 de l'OWASP, la consommation illimitée par prompts coûteux et déluges de tokens. L'élévation de privilège devient la frontière d'usage d'outils — un utilisateur qui incite le modèle à appeler un outil privilégié hérite des privilèges de cet outil. PASTA ajoute par-dessus le contexte métier et la simulation d'adversaire pour les équipes qui font déjà du red teaming. Les deux cadres supposent un diagramme de flux de données qui sépare les composants dont dépend la question de surveillance. Pour les systèmes LLM, le diagramme doit toujours séparer la logique de construction du prompt, le pipeline de récupération, le registre d'outils, l'appel au modèle, le chemin de traitement des sorties et le chemin de journalisation.

2.2 Des actifs qui n'apparaissent pas sur les inventaires conventionnels

Un modèle de menace ne vaut que ce que vaut son inventaire d'actifs. Les systèmes LLM introduisent des catégories peu familières aux équipes dont le travail antérieur portait sur des applications conventionnelles. Le modèle lui-même a plusieurs sous-actifs — les poids (un binaire de plusieurs gigaoctets qui représente un investissement d'entraînement significatif), le comportement documenté (prompt système, politiques de sécurité, entraînement d'alignement) et la réputation (un échec public endommage le produit indépendamment de toute compromission technique). Les données couvrent les données d'entraînement, les données de fine-tuning, les corpus de récupération, les entrées et les sorties utilisateurs ; chacune a ses propres exigences de confidentialité, d'intégrité et de disponibilité. Le prompt lui-même est désormais un actif — la propriété intellectuelle de nombreux produits vit dans un prompt système raffiné sur plusieurs mois, et la liste OWASP 2025 identifie explicitement la fuite de prompt système comme LLM07. L'infrastructure couvre la pile d'inférence, le magasin vectoriel, les interfaces d'outils et les identifiants qui les lient. Les journaux sont un actif parce qu'ils sont le dossier médico-légal, et les actifs de second ordre — réputation du modèle, conformité réglementaire, confiance client — dépendent de la survie des actifs primaires au contact du trafic.

2.3 Les adversaires ont des motivations spécifiques

Un modèle de menace qui protège également contre tout ne protège contre rien. L'inventaire des adversaires doit être spécifique. Les utilisateurs curieux sondent le système pour voir ce qu'il fait — ils utilisent des techniques venues des réseaux sociaux, leur volume est élevé, leur impact individuel par incident est faible, mais leur effet cumulé sur la sécurité apparente du système est significatif. Les utilisateurs malveillants visent un préjudice spécifique — extraire du contenu que le système devrait refuser, voler les données d'autres utilisateurs ou le prompt système, utiliser le système pour attaquer des tiers via du phishing rédigé ou des logiciels malveillants générés. Les concurrents extraient le modèle (chapitre 8) ou le prompt système pour réduire leur propre coût de développement. Les initiés opèrent depuis l'intérieur de la frontière de confiance. Les acteurs étatiques combinent des attaques au niveau modèle avec l'arsenal plus large, et leurs cibles sont d'ordinaire des organisations plutôt que le modèle directement. Les agents automatisés — eux-mêmes des LLM, parfois pilotés par d'autres adversaires — sont la catégorie la plus récente et celle que le chapitre 17 reprend. Chaque catégorie d'adversaire a des capacités différentes, des motivations différentes et des profils de détection différents, et les mitigations qui élèvent le coût contre l'un peuvent ne pas affecter l'autre.

À retenir : dans les déploiements LLM basés sur API, une grande partie de ce que l'équipe sécurité appelle « logique applicative » — le comportement du modèle — se trouve de l'autre côté d'une frontière contractuelle que l'équipe ne peut inspecter. Le modèle de menace doit reconnaître cette asymétrie plutôt que faire comme si le modèle n'était qu'un composant parmi d'autres.

Ce que prépare le Chapitre 2

Le gabarit développé ici — description système d'une page, diagramme de flux de données avec frontières de confiance, inventaire d'actifs, catalogue d'adversaires, énumération de menaces par STRIDE, cartographie des mitigations, registre des risques résiduels — est le cadre que le reste du livre remplit. Le chapitre 3 étend la catégorie d'actif données à sa structure complète — risques des données d'entraînement, mémorisation et extraction, traitement des entrées sensibles, chiffrement et rétention. Le chapitre 4 reprend l'injection de prompt, que la catégorie altération de STRIDE a déjà nommée comme la menace dominante contre le composant de construction de prompt. Les chapitres 5 et 6 développent les mitigations à l'injection de prompt aux couches entrée, sortie et RAG. Les chapitres ultérieurs reviennent au même gabarit — chapitre 11 pour l'observabilité, chapitre 12 pour l'identité — mais l'inventaire d'actifs et le catalogue d'adversaires introduits ici sont ce que ces chapitres étendent.

Prochaine étape — Chapitre 3 : Sécurité des données et vie privée. Le risque des données d'entraînement, la mémorisation et l'extraction, les incidents Samsung et Garante, et la discipline de chiffrement, d'isolation et de rétention que la sécurité des données dans les systèmes LLM exige.

Vous voulez le tableau complet ? Le chapitre du livre inclut les exemples exécutables de diagrammes de flux de données, le registre de menaces pas à pas pour un assistant support adossé à RAG, les tables complètes de cartographie STRIDE et PASTA, et les encadrés « En clair » que cet article se contente de résumer. Voir LLM Primer VII sur Amazon →