Chapitre 3 — Sécurité des données et vie privée

Troisième billet de la tournée chapitre par chapitre de LLM Primer VII : Sécurité de l'IA. Le chapitre qui traite la donnée comme un actif avec un cycle de vie — des corpus d'entraînement que le modèle a partiellement mémorisés, aux entrées utilisateurs que les ingénieurs Samsung avaient collées dans ChatGPT avant que l'incident n'ait un nom.

Pourquoi ce chapitre existe

Le modèle de menace du chapitre 2 a nommé les données comme l'une des six catégories d'actifs. La sécurité des données dans les systèmes LLM a assez de propriétés distinctives pour mériter son propre chapitre. Les corpus d'entraînement contiennent du matériel sous copyright, des informations personnelles et du contenu sous licence dont les termes dérivent dans le temps. Les modèles entraînés mémorisent des fragments de ce corpus d'une manière qu'un attaquant peut extraire. Les entrées de production sont elles-mêmes des données sensibles — l'incident Samsung d'avril-mai 2023 a mis cela hors de doute — et leur traitement est une préoccupation de sécurité indépendante du comportement du modèle. L'action du Garante italien contre ChatGPT en mars 2023 a établi que le droit de la protection des données s'applique à ces systèmes, que les développeurs l'aient prévu ou non. Ce chapitre parcourt le cycle de vie des données, de l'ingestion à la suppression.

3.1 Les corpus d'entraînement portent copyright, données personnelles et dérive de licence

Les modèles frontières sont entraînés sur des corpus trop vastes pour qu'un humain les lise de bout en bout — Common Crawl, Wikipédia, livres, texte web scrapé, code, flux sous licence, données synthétiques. L'échelle est la source de la capacité et la source du risque. Le premier risque est le copyright : le statut juridique de l'entraînement sur du contenu sous copyright est contesté depuis 2023, avec des poursuites majeures d'organisations de presse, d'auteurs, de titulaires de droits sur les images et de mainteneurs de licences de code, et des positions du US Copyright Office, de l'UE et du Royaume-Uni convergeant vers la reconnaissance que l'entraînement est au moins parfois une activité pertinente au regard du copyright. Le second est l'information personnelle : les corpus scrapés sur le web contiennent inévitablement des noms, coordonnées, historiques professionnels, dossiers judiciaires, bases divulguées et identifiants. Le RGPD, CCPA/CPRA, PIPL, DPDPA, LGPD et PIPEDA s'appliquent tous à ces corpus quelle que soit la localisation du fournisseur de modèle. L'action du Garante italien en mars 2023 contre ChatGPT a été le premier coup réglementaire ; d'autres ont suivi. Le troisième est la dérive de licence — l'écart progressif entre ce que l'organisation croit pouvoir entraîner et ce que les contrats sous-jacents autorisent réellement. Un registre de licence par corpus lié au manifeste des données d'entraînement est la discipline qui maintient cette réponse définie.

3.2 La mémorisation est une propriété ; l'extraction est une attaque

Un modèle entraîné est une compression avec perte, distribuée, de ses données d'entraînement. La plupart des documents d'entraînement ne sont pas directement récupérables, mais la compression est imparfaite. L'article USENIX 2021 de Carlini et ses collègues « Extracting Training Data from Large Language Models » a démontré que GPT-2 pouvait être amené à émettre des exemples d'entraînement verbatim — noms, numéros de téléphone, adresses e-mail, extraits de code — par des préfixes choisis avec soin. Le suivi ICLR 2023 « Quantifying Memorization Across Neural Language Models » a montré que la mémorisation croît avec la capacité du modèle, la taille du corpus et la duplication d'exemples : les modèles plus gros mémorisent davantage, et la déduplication aide sans combler l'écart. « Scalable Extraction of Training Data from (Production) Language Models » de Nasr et ses collègues en 2023 a étendu l'attaque à des modèles de production alignés dont ChatGPT via une attaque de divergence qui brisait le suivi d'instruction et faisait retomber le modèle en émission brute de données d'entraînement. Il vaut la peine de distinguer les deux idées : la mémorisation est une propriété du modèle ; l'extraction est ce qu'un adversaire avec accès API fait de cette propriété. Un modèle peut mémoriser du contenu qui n'est jamais extrait, et une tentative d'extraction peut échouer contre un modèle dont la mémorisation est élevée. La pile de mitigation est la déduplication, l'entraînement d'alignement qui résiste à la divergence, le filtrage de sortie contre les correspondances verbatim avec des chaînes canari, et les limites de débit qui élèvent le coût des attaques à hauts volumes de requêtes.

3.3 Les entrées utilisateurs sont une catégorie de données à gérer

Les incidents Samsung d'avril-mai 2023 — trois cas distincts où des ingénieurs semi-conducteurs ont collé du source confidentiel dans ChatGPT — ont marqué le point de la manière la plus explicite possible. Dans un système intégrant un LLM, l'entrée utilisateur est elle-même une catégorie de données. Chaque déploiement de production doit répondre, par écrit : quelles catégories les utilisateurs peuvent légitimement envoyer ; quelles catégories doivent être détectées et bloquées ou masquées avant que le prompt n'atteigne le modèle ; où les entrées sont-elles stockées, par qui, et pour combien de temps ; les entrées sont-elles utilisées pour un entraînement ultérieur et l'utilisateur a-t-il consenti ; qui peut les lire sous forme stockée ; que se passe-t-il sur demande de suppression. L'absence de réponse est un vide politique. Pour les systèmes servant des domaines réglementés, un pipeline de rédaction entre la couche utilisateur et le modèle — Microsoft Presidio est une trousse open-source — détecte les données personnelles et masque, remplace ou refuse selon la politique. Les disciplines opérationnelles qui protègent les données ailleurs s'appliquent toutes : chiffrement au repos pour les magasins d'entraînement, de fine-tuning, de gabarit de prompt, de corpus de récupération, de journaux et de cache ; TLS ou mTLS en transit ; isolation par locataire à travers le stockage, la construction de prompt et les chemins de journalisation ; et une politique de rétention avec un niveau de service défini pour les demandes de suppression au titre de l'article 17 du RGPD ou du CCPA. La fuite entre locataires est le mode d'échec qui met le plus fiablement fin aux déploiements ; la discipline requise pour la prévenir est comparable à l'isolation multi-locataire des bases de données, plus le fait que le modèle lui-même est partagé.

Ce que prépare le Chapitre 3

Les chapitres 1 à 3 complètent la partie I : fondations. La partie II se tourne vers l'intérieur opérationnel. Le chapitre 4 reprend l'injection de prompt et les jailbreaks — le problème LLM01 de l'OWASP — en s'appuyant sur le cadrage originel de Willison, l'article d'injection indirecte de Greshake, les travaux sur suffixes universels de Zou et al., la taxonomie des jailbreaks de Wei et al., et l'entraînement à la hiérarchie d'instructions de Wallace et al. Le chapitre 5 développe les couches de validation d'entrée et de filtrage de sortie en discipline opérationnelle, avec l'outillage de garde-fous et les cadres de tests adverses sur lesquels le domaine a convergé. Le chapitre 6 reprend spécifiquement la génération augmentée par récupération, où les risques données de ce chapitre et les risques d'injection du chapitre 4 se rejoignent. Le principe qui les relie est que la sécurité dans ces systèmes est une propriété de l'architecture, non une fonctionnalité du modèle.

Prochaine étape — Chapitre 4 : Injection de prompt et jailbreaks. Pourquoi l'analogie de l'injection SQL ne va pas loin, les familles de jailbreaks qui ont survécu à chaque mise à jour de modèle, et la stratégie de mitigation stratifiée que le reste de la partie II bâtit.