Chapitre 8 — Attaques adverses contre les modèles

Huitième billet de la tournée chapitre par chapitre de LLM Primer VII : Sécurité de l'IA. Le chapitre qui retrace les attaques adverses depuis les travaux de Goodfellow en 2014 sur les classificateurs d'images, en passant par TextFooler et les suffixes universels, jusqu'au vol de modèle contre les API de production.

Pourquoi ce chapitre existe

Le chapitre 4 traitait l'injection de prompt comme le visage pratique de l'entrée adverse dans les systèmes LLM. Le chapitre 8 parcourt la tradition de recherche sous-jacente. L'article de Goodfellow, Shlens et Szegedy de 2014 « Explaining and Harnessing Adversarial Examples » soutenait que les entrées adverses ne sont pas une pathologie mais une conséquence du comportement quasi-linéaire des modèles dans des espaces d'entrée de haute dimension. Ce cadrage s'est transmis au NLP par des travaux qui résolvaient le problème de l'entrée discrète — HotFlip, TextFooler, BERT-ATTACK — et aux LLM par les déclencheurs adverses universels et, plus récemment, les travaux sur suffixes universels de Zou et al. qui se transfèrent à travers des API fermées. À côté de l'entrée adverse se trouve le vol de modèle, attaque de confidentialité dont le substitut extrait devient une rampe de lancement pour l'entrée adverse.

8.1 La lignée de FGSM aux suffixes universels

La Fast Gradient Sign Method de Goodfellow — perturber chaque dimension d'entrée par epsilon fois le signe du gradient de la perte — a été l'attaque boîte-blanche canonique pour les entrées continues. Le texte a résisté à cette approche parce que les tokens sont discrets : se déplacer le long du gradient de l'embedding quitte totalement l'espace des tokens. La littérature sur exemples adverses en NLP a surtout consisté à trouver de bonnes approximations discrètes. HotFlip (Ebrahimi et al., ACL 2018) a utilisé un flip de caractère unique qui changeait le plus la perte. TextFooler (Jin et al., AAAI 2020) a substitué des synonymes avec recherche par faisceau sous contrainte de similarité sémantique. BERT-ATTACK a utilisé un modèle de langage masqué pour proposer des candidats à substitution. Les déclencheurs adverses universels de Wallace et al. ont trouvé de courtes séquences de tokens qui, préfixées à des entrées arbitraires, induisent un comportement erroné ciblé. « Universal and Transferable Adversarial Attacks on Aligned Language Models » de Zou et al. en 2023 a montré que des suffixes optimisés par gradient dérivés sur des modèles open-source se transféraient à des modèles fermés interrogés via API — la distinction théorique entre boîte-blanche et boîte-noire s'est effondrée en pratique, parce que les attaquants avaient un accès boîte-blanche à assez de modèles substituts pour générer des attaques transférables. Cette transférabilité est ce qui a rendu les travaux sur suffixes universels marquants pour les déploiements de production qui croyaient l'opacité de leur API protectrice.

8.2 Les attaques boîte-noire sont moins chères que le budget API ne le suggère

Les LLM commerciaux d'importance n'exposent pas les poids. Le modèle de menace pertinent est boîte-noire : l'attaquant paie l'accès API, envoie des requêtes, observe les réponses et affine. La littérature a montré des attaques étonnamment fortes dans ce cadre. La recherche par force brute sur des variantes d'un prompt gère les petites surfaces d'attaque — courts suffixes adverses, substitutions d'un seul mot — et est la cheville ouvrière du jailbreak pratique. Les méthodes économes en requêtes utilisent le signal de sortie du modèle comme proxy du gradient que l'attaquant ne peut calculer directement : si la réponse change de manière détectable quand un token change, l'attaquant peut monter vers la cible. La génération automatique de jailbreak — PAIR (Chao et al. 2023), TAP (Mehrotra et al. 2023) — utilise un LLM attaquant pour proposer des raffinements contre le retour de la cible. L'économie compte. Les coûts par requête sont de quelques centimes ; la dépense totale de l'attaquant pour développer un jailbreak fonctionnel est souvent sous cinquante dollars et produit une attaque qui généralise à travers utilisateurs, sessions et parfois versions de modèle. C'est un profil d'attaquant très différent de « quelqu'un avec un cluster GPU académique ».

8.3 Le vol de modèle transforme le boîte-noire en boîte-blanche effective

Le vol de modèle — extraction de modèle — est la classe où l'objectif de l'attaquant n'est pas de manipuler une sortie spécifique mais de reconstruire assez du comportement de la cible pour utiliser la reconstruction comme substitut. L'article USENIX Security 2016 de Tramèr et ses collègues « Stealing Machine Learning Models via Prediction APIs » a établi la ligne de recherche contre Amazon Machine Learning, BigML et services similaires. L'article ICLR 2020 de Krishna et ses collègues « Thieves on Sesame Street » a montré l'extraction contre des modèles de type BERT. L'article ICML 2024 de Carlini et ses collègues « Stealing Part of a Production Language Model » a démontré l'extraction de la couche de projection d'embedding de modèles de production dont ceux d'OpenAI par des requêtes API ciblées — une extraction partielle qui a néanmoins révélé des dimensions cachées et des informations structurelles que le fournisseur n'avait pas eu l'intention de publier. La conséquence sécurité, au-delà de la perte de confidentialité, est qu'un substitut extrait est une cible boîte-blanche pour générer des exemples adverses transférables contre l'original. La couche défensive est compositionnelle : limitation de débit par compte, par clé, par IP et par locataire ; détection d'anomalie sur les schémas de requêtes qui suggèrent l'extraction (distributions uniformes, variations systématiques de prompt, sorties à haute entropie) ; et détection d'entrée adverse à la frontière. La recherche sur le tatouage vise à rendre les modèles extraits détectables, mais l'état de l'art évolue encore.

Ce que prépare le Chapitre 8

Le chapitre 9 aborde une classe de risque plus fondamentale que les entrées fabriquées contre un modèle connu-bon : les attaques contre le modèle lui-même avant déploiement, par la chaîne d'approvisionnement qui l'a produit. Un attaquant qui contrôle des données d'entraînement, des poids de modèle à un point quelconque entre entraînement et déploiement, ou des dépendances à l'inférence a une position plus forte que tout attaquant dans l'espace d'entrée. Le chapitre retrace la ligne BadNets de Gu et al. depuis 2017 jusqu'à sa traduction dans les LLM, dont la recherche « Sleeper Agents » d'Anthropic en 2024 démontrant des portes dérobées entraînées qui persistent à travers l'entraînement de sécurité. Il parcourt les risques au niveau format — vulnérabilités de désérialisation pickle cataloguées comme CVE-2024-3568 et entrées voisines, safetensors comme alternative plus sûre — et les schémas de pipeline de déploiement (signature de modèle, vérification de hash, SLSA, Sigstore) que les organisations d'IA de production ont adoptés pour refermer l'écart.

Prochaine étape — Chapitre 9 : Intégrité du modèle et risques de la chaîne d'approvisionnement. BadNets, Sleeper Agents, pickle contre safetensors, Sigstore pour les artefacts de modèle, et surveillance de dérive comme contrepartie continue à l'intégrité au déploiement.