Chapitre 7 — Hallucinations et fiabilité

Septième billet de la tournée chapitre par chapitre de LLM Primer VII : Sécurité de l'IA. Le chapitre qui traite la fiabilité comme une propriété de sécurité — parce qu'une sortie fausse avec assurance est un problème de sécurité chaque fois que les conséquences dépendent de la correction.

Pourquoi ce chapitre existe

Les hallucinations étaient à l'origine un terme de génération de langage naturel pour des sorties contenant des informations non étayées par leur source. Appliqué aux LLM, le phénomène se divise en deux sens utiles : les défaillances de factualité, où le modèle contredit des faits établis, et les défaillances de fidélité, où le modèle s'écarte des instructions de l'utilisateur ou du contexte fourni. Les deux comptent, et les deux ont des mécanismes spécifiques. La revue ACM Computing Surveys 2023 de Ji et al. et la taxonomie de Huang et al. la même année ont donné au domaine son vocabulaire. Ce chapitre traite la fiabilité comme propriété de sécurité de premier ordre, parce qu'un système qui agit sur la sortie du modèle n'est pas plus sûr que la sortie n'est correcte — et le modèle n'a aucun mécanisme intégré pour savoir quand il ne sait pas.

7.1 Les hallucinations ont des mécanismes, non des humeurs

Les modèles de langage prédisent les tokens en échantillonnant depuis une distribution sur laquelle l'objectif d'entraînement a placé de la masse. La distribution est modelée par la fréquence dans le corpus d'entraînement, par les biais inductifs du modèle et par tout entraînement d'alignement appliqué ensuite. Aucun de ces mécanismes ne sélectionne la correction factuelle comme le fait une requête de base de données. Les défaillances de factualité surviennent quand le modèle affirme quelque chose de contredit par le monde — une mauvaise date, une citation fabriquée, une signature de fonction inexistante. Les défaillances de fidélité surviennent quand la sortie du modèle s'écarte de l'intention de l'utilisateur ou du contexte fourni — répondre à une question légèrement différente, ignorer des parties d'un passage à résumer, raisonner incohéremment sur une longue réponse. Les deux catégories se recoupent mais demandent des diagnostics différents. Les mécanismes incluent la dynamique de prochain token qui échange fluidité contre précision dans les longues générations, la sous-représentation dans la distribution des données d'entraînement des faits de niche, l'entraînement d'alignement qui décourage de dire « je ne sais pas », et les schémas de prompt qui poussent le modèle vers la plausibilité plutôt que la vérité. Comprendre le mécanisme est ce qui rend la mitigation ciblée plutôt que performative.

7.2 La confiance n'est pas la correction

Un système probabiliste calibré a des confiances déclarées qui correspondent à sa précision : quand il dit 80 %, il a raison 80 % du temps sur un grand échantillon. L'article ICML 2017 de Guo et ses collègues « On Calibration of Modern Neural Networks » a rapporté un résultat frappant — les réseaux neuronaux modernes sont systématiquement trop confiants. Un modèle disant 80 % peut avoir raison à 65 % ; un modèle disant 99 % peut avoir raison à 88 %. Le mécanisme est l'objectif d'entropie croisée, qui récompense de placer de la masse sur la classe correcte sans pénaliser la surconfiance. Les modèles plus grands et plus expressifs s'ajustent plus étroitement aux données d'entraînement, produisant des distributions plus aiguës sur les exemples de test qui ressemblent superficiellement à l'entraînement. Pour les LLM le problème est plus prononcé parce que les sorties sont des séquences de tokens, l'entraînement d'alignement redessine la distribution d'une manière qui peut déplacer les probabilités sans déplacer la précision, et les utilisateurs lisent une phrase confiante comme preuve que le modèle sait ce qu'il dit. L'écart entre confiance et correction est la raison pour laquelle l'ingénierie de la fiabilité ne peut se contenter de faire confiance au signal propre du modèle.

7.3 Calibration et vérification hybride sont le correctif opérationnel

Les techniques de calibration se divisent en temps d'entraînement et temps d'inférence. La mise à l'échelle par température, introduite par Guo et al. dans le même article de 2017, est le standard : après entraînement, ajuster un scalaire unique qui divise les logits pré-softmax jusqu'à minimiser l'erreur de calibration sur un ensemble tenu à part. Les prédictions ne changent pas ; les probabilités, si. La confiance verbalisée — demander au modèle de sortir une estimation de confiance à côté de sa réponse — a été étudiée depuis 2022 et fonctionne à un certain degré, mais la confiance déclarée du modèle est elle-même un token de langage soumis aux mêmes pressions distributionnelles. L'échantillonnage à auto-cohérence génère plusieurs complétions et vote ; l'accord corrèle avec la correction mieux que la probabilité d'une seule complétion. Les architectures hybrides font plus. La génération augmentée par récupération, comme technique de fiabilité, a été la plus systématiquement efficace — le tableau HHEM de Vectara a suivi des systèmes RAG bien configurés sous 1 % d'hallucination sur la synthèse factoïde là où la génération nue dépasse 5 % sur les mêmes tâches. Les pipelines de vérification structurée font passer la sortie par un second modèle qui vérifie les faits contre les documents source. La revue humaine dans la boucle reste la défense la plus forte pour les sorties à fort enjeu, soumise aux deux modes d'échec que le domaine a déjà nommés : la revue tampon-encreur à l'échelle, et la revue-sans-contexte où le relecteur manque du matériel source pour vérifier l'affirmation du modèle.

Ce que prépare le Chapitre 7

Le chapitre 8 passe des modes de défaillance incidents aux modes délibérés — les attaques adverses qui traitent le modèle comme cible et construisent des entrées conçues pour manipuler les sorties dans des directions que l'opérateur n'a pas voulues. Le chapitre parcourt la lignée du FGSM de Goodfellow en 2014 à travers les travaux spécifiques NLP — HotFlip, TextFooler, BERT-ATTACK — jusqu'aux déclencheurs adverses universels de Wallace et ses collègues et aux travaux sur suffixes universels de Zou et ses collègues effleurés au chapitre 4. Il parcourt ensuite les attaques boîte-noire contre les API et le vol de modèle, de l'article USENIX 2016 de Tramèr à l'article ICML 2024 de Carlini extrayant les couches de projection d'embedding en production. Le chapitre 9 complète la partie III avec la chaîne d'approvisionnement : modèles avec porte dérobée, safetensors contre pickle, signature Sigstore, et surveillance de dérive.

Prochaine étape — Chapitre 8 : Attaques adverses contre les modèles. Attaques par gradient dans un espace d'entrée discret, attaques boîte-noire via API, et le vol de modèle comme préoccupation de confidentialité plus sécurité.