Chapitre 17 — Menaces futures et défenses émergentes

Dix-septième et dernier billet de la tournée chapitre par chapitre de LLM Primer VII : Sécurité de l'IA. Le chapitre qui regarde au-delà des disciplines déjà assez mûres pour être mises par écrit et nomme celles que la communauté cherche encore — agents autonomes, surfaces d'attaque multimodales, identité synthétique et la course aux armements IA-contre-IA de mi-2026.

Pourquoi ce chapitre existe

Les chapitres 1 à 16 ont parcouru les disciplines de sécurité déjà assez mûres pour être mises par écrit. Le chapitre 17 parcourt celles qui se dessinent encore. Le contraste importe. Les chapitres précédents répondaient à « on sait comment faire et la question est si votre organisation le fera ». Celui-ci répond à « la communauté cherche encore à quoi ressemble le bon, et les réponses de l'an prochain seront peut-être différentes de celles de cette année ». Les deux sortes de travail sont réelles, et les deux appartiennent au répertoire de l'ingénieur. La première maintient les systèmes sûrs aujourd'hui. La seconde les maintient sûrs dans deux ans.

17.1 Les agents autonomes multiplient le rayon d'explosion par le budget d'outils

Un agent autonome est un système où un modèle de langage reçoit un but, un jeu d'outils et l'autorité d'appeler ces outils en séquence sans revue humaine à chaque étape. Le modèle décide de la suite ; les outils exécutent ; les résultats reviennent en entrée ; la boucle continue jusqu'à ce que le but soit atteint ou qu'une condition d'arrêt se déclenche. AutoGPT et BabyAGI ont prototypé publiquement le schéma début 2023 ; LangChain l'a formalisé ; l'usage ordinateur de Claude d'Anthropic (octobre 2024) et Operator d'OpenAI (janvier 2025) l'ont transformé en produits commerciaux qui donnent à un modèle autorité sur un navigateur ou un bureau. Les propriétés de sécurité sont différentes en nature de la génération à tour unique. Un modèle qui produit une complétion a l'autorité d'écrire du texte que l'application pourrait suivre. Un modèle qui opère un navigateur a, dans le pire cas, l'autorité de faire ce qu'un navigateur peut faire, sans point de revue humaine. Les mitigations composées des chapitres précédents — listes blanches d'outils, jetons de capacité à portée étroite, contrôles de politique par outil hors modèle, confirmation humaine pour les actions à fort impact, limites strictes d'étapes, plafonds de budget — s'appliquent ici avec une emphase aiguisée. L'autonomie de l'agent est une décision de conception prise en amont de tout incident spécifique, et la conception décide du plafond sur toute compromission.

17.2 Les surfaces multimodales élargissent le canal d'injection de plusieurs ordres de grandeur

Un modèle uniquement textuel lit ce que le tokeniseur reconnaît. Un modèle vision-langage lit des images dont la bande passante au pixel dépasse tout ce que le texte peut porter, et l'application environnante ne peut d'ordinaire pas inspecter ce qu'une image contient comme elle peut inspecter une chaîne. L'article 2023 de Schlarmann et Hein « On the Adversarial Robustness of Multi-Modal Foundation Models » a montré que des perturbations imperceptibles à un humain sur une image pouvaient changer substantiellement les sorties textuelles d'un VLM — l'attaque classique par exemple adverse adaptée à une nouvelle modalité. Le texte intégré aux images (captures d'écran, mèmes, scans de documents) est une autre surface : les instructions détectées par OCR dans une image peuvent être une injection indirecte de prompt via le canal visuel. Les modèles audio-langage prennent l'entrée parlée ; des perturbations audio adverses, certaines inaudibles à l'humain, ont été démontrées. La vidéo ajoute les deux canaux ensemble. Chaque modalité est une nouvelle surface d'injection, et le travail défensif commence à peine à suivre : scanners pré-VLM qui marquent ou dépouillent le texte détecté par OCR dans les images ; balises de provenance sur les entrées multimodales ; entraînement d'alignement qui traite les canaux visuel et audio avec la même méfiance que le texte ; et filtrage de sortie sensible à la modalité. Le schéma des chapitres précédents — ne pas laisser les frontières de confiance s'effondrer en une entrée unique — s'étend aux modalités que les chapitres précédents n'avaient pas eu à nommer.

17.3 Identité synthétique et IA-contre-IA redessinent le périmètre

Les deux premières sections traitaient le modèle comme cible. La troisième le traite comme outil. Un modèle génératif dont les sorties sont indiscernables de la production humaine authentique sape tout mécanisme de sécurité qui dépend de la détectabilité de l'authenticité. La voix synthétique générée à partir de minutes de parole alimente le vishing contre les équipes finance qui reconnaissent la voix du PDG. Les deepfakes vidéo fabriquent des séquences de personnalités publiques. Le texte synthétique imite l'écriture d'une personne spécifique dans les compromissions d'e-mails d'entreprise. Aucune de ces choses n'est exotique en 2026 ; les outils sont banalisés, le coût par génération est de quelques centimes. La réponse défensive a été l'infrastructure de provenance — C2PA pour les identifiants de contenu, la recherche sur le tatouage, la signature cryptographique des médias authentiques — et le relèvement de la vérification d'identité là où les décisions à fort enjeu reposent sur l'authenticité du canal. La trajectoire défensive plus large est IA-contre-IA : systèmes de sécurité bâtis sur des modèles de langage, déployés pour défendre contre des attaques générées ou amplifiées par d'autres modèles de langage. Le red teaming automatisé — NVIDIA Garak, Microsoft PyRIT — substitue le modèle à l'humain côté attaquant. Les garde-fous, classificateurs de sécurité et détection d'anomalie substituent le modèle à l'humain côté défenseur. La course aux armements est inconfortable mais c'est la réalité opérationnelle. L'assurance IA, discipline émergente qui vise à montrer qu'un système IA satisfait ses exigences avec une confiance définie, est ce qui tente de donner à la course une assise stable — infrastructure d'évaluation continue, certification par tiers, normes de divulgation d'incidents, et le travail de standards que les communautés ISO/IEC 42001 et NIST AI RMF étendent.

La série se termine ici

Le chapitre 17 est le chapitre final de LLM Primer VII, et avec lui le chapitre final de la série LLM Primer dans son ensemble. Le volume I a introduit l'architecture des modèles de langage transformer depuis le mécanisme d'attention vers l'extérieur. Le volume II a couvert l'entraînement, l'alignement et le cycle de vie pratique de la construction d'un modèle. Le volume III a examiné la génération augmentée par récupération et les pipelines de données qui l'entourent. Le volume IV a regardé l'évaluation, l'outillage et les pratiques d'ingénierie qui entourent le modèle en production. Le volume V a travaillé les schémas d'agent et d'usage d'outils que ce chapitre vient de traiter sous leur aspect adverse. Le volume VI a couvert l'infrastructure d'inférence et les schémas de mise à l'échelle à l'échelle organisationnelle. Le volume VII, celui-ci, a porté sur la défense de tout cela. Les sept volumes ont été écrits comme une carte connectée. Les lecteurs qui atteignent ce chapitre sans avoir visité les volumes précédents sont encouragés à revenir en arrière, parce que beaucoup des affirmations de sécurité de ce livre reposent sur des détails architecturaux que ces volumes établissent.

Le volume compagnon, Physical AI, étend la carte aux systèmes incarnés — robots, véhicules autonomes et les déploiements dans le monde physique où le même substrat probabiliste contrôle désormais des actionneurs et partage l'espace physique avec des humains. Les préoccupations de sécurité de ce volume s'y reportent avec modifications : l'injection de prompt via le canal visuel devient une préoccupation de sécurité avec un mètre de portée physique ; la frontière d'outil est désormais un contrôleur de moteur ; les entrées adverses sont des objets placés dans l'environnement d'opération. Les disciplines de ces sept volumes sont des prérequis à ce travail plutôt que des substituts, et l'arc de l'attention transformer à l'infrastructure à la sécurité se poursuit dans le monde physique où les enjeux deviennent tangibles.

Merci d'avoir lu la tournée. Le livre lui-même porte les exemples travaillés, le code exécutable, les playbooks d'incident et les encadrés « En clair » sous une forme plus longue que ces articles ne pouvaient contenir. Si quelque chose s'est révélé utile, l'étape suivante à plus fort impact est d'appliquer le cadre au système spécifique que votre organisation défend — le modèle de menace du chapitre 2, les mitigations stratifiées des chapitres 4 et 5, les schémas d'architecture du chapitre 10, l'observabilité du chapitre 11 et la discipline organisationnelle du chapitre 15 sont les pièces porteuses.