第 7 章 — 幻觉与可靠性

《LLM Primer VII: AI Security》章节走读的第七篇。这一章把可靠性作为一等安全性质来处理 —— 因为在结果依赖于正确性的时候,一份自信的错误输出就是一个安全问题。

这一章为什么存在

Hallucination 原本是自然语言生成里的术语,指的是输出里含有来源里并不支持的信息。放到 LLM 上,这个现象裂成两个有用的意思:事实性失败,模型和已确立的事实相矛盾;忠实性失败,模型偏离了用户指令或所给上下文。两者都要紧,两者各自有机制。Ji 等 2023 年 ACM Computing Surveys 上的综述和 Huang 等同年的分类给了这个领域词汇。这一章把可靠性当作一等安全性质,因为一个系统对模型输出采取行动,它的安全上限就是这份输出的正确性 —— 而模型自己没有一个内置机制,能告诉它自己"什么时候不知道"。

一句话:LLM 在构造上就是过度自信的 —— 它的训练目标奖励的是把概率压到观察到的 token 上,而不是奖励说对 —— 可靠性工程,就是把训练目标没给的那份校准、grounding 和验证,加回去的那门学科。

7.1 幻觉有机制,不是情绪

语言模型通过从训练目标压了质量的分布里采样来预测 token。这个分布由训练语料的频率、模型的归纳偏置、以及之后附加的任何对齐训练所塑形。这些机制里没有哪一个像数据库查询那样选择"事实上的正确"。事实性失败发生在模型断言的东西被世界否定的时候 —— 错误的日期、编造的引用、不存在的函数签名。忠实性失败发生在模型输出偏离用户意图或提供上下文的时候 —— 回答的是一个略微不同的问题、忽略用户要求总结的段落里的一部分、在长回复里推理前后不一。这两类有重叠,但需要不同的诊断。机制包括:在长生成里用准确性换流畅度的 next-token 动力学、训练数据分布对小众事实的欠代表、劝阻模型说"我不知道"的对齐训练、以及推动模型朝合理性而非真实性走的 prompt 模式。理解机制,才能让缓解措施是有的放矢、而不是表演性的。

7.2 自信不是正确

一个校准良好的概率系统,其宣称的置信度和它的准确率匹配:它说 80% 的时候,在大样本上就应该有 80% 说对。Guo 和同事 2017 年 ICML 上的《On Calibration of Modern Neural Networks》报告了一个醒目的结果 —— 现代神经网络系统性地过度自信。一个说 80% 的模型可能只有 65% 说对;一个说 99% 的可能只有 88% 说对。机制是 cross-entropy 目标,它奖励把质量压到正确类上,却不惩罚过度自信。更大、更有表达能力的模型对训练数据拟合得更紧,在表面像训练的测试样本上给出更尖锐的分布。对 LLM 来说,这个问题更严重,因为输出是 token 序列、对齐训练会以移动概率但不移动准确率的方式重塑分布,而用户会把一句自信的话读作"模型知道它在说什么"的证据。置信度和正确性之间的这道口子,就是可靠性工程不能只信模型自己给的信号的原因。

7.3 校准与混合式验证是操作层的修法

校准技术分为训练时和推理时。温度缩放 —— 由 Guo 等在 2017 年那篇论文里引入 —— 是标准做法:训练结束后,在一份留出集上调一个标量去除以 pre-softmax logits,使校准误差最小。预测不变;概率变了。verbalised confidence —— 让模型输出答案的同时输出一个置信度估计 —— 自 2022 年以来一直被研究,一定程度上有用,但模型自陈的置信度本身也是一个语言 token,受同样分布压力支配。self-consistency 采样生成多份完成再投票;一致性和正确性的相关性,好过任何单份完成的概率。混合架构做的活更多。检索增强生成作为可靠性技术,一直是最稳定见效的 —— Vectara HHEM 排行榜显示,配置良好的 RAG 系统在事实性摘要任务上把幻觉率压到 1% 以下,而裸生成在同样任务上超过 5%。结构化验证流水线把输出经过第二个模型对源文档做事实核对。对高风险输出,人机协同审查仍是最强防御,受制于领域内已经命名的两种失败模式:规模下的橡皮图章式审查,以及审查员没有源材料无法核对模型主张的"无上下文审查"。

值得记住:一个自信的错误答案,比一句坦然的"我不知道"是更糟的产品。校准这份活 —— 温度缩放、verbalised confidence、self-consistency、RAG 支撑的验证 —— 就是教系统去区分这两种情况的那份工作,而应用层的路由决策,是这份区分变得让用户看得见的地方。

第 7 章为下面铺了什么

第 8 章从偶发的失败模式转向刻意的失败模式 —— 把模型当作靶子,构造出旨在把输出往运营者本不想去的方向操纵的输入。这一章走从 Goodfellow 2014 年 FGSM 的脉络,穿过针对 NLP 的工作 —— HotFlip、TextFooler、BERT-ATTACK —— 到 Wallace 等的通用对抗性触发器,以及第 4 章已经涉及的 Zou 等的通用后缀工作。接着走针对 API 的黑盒攻击和模型窃取,从 Tramèr 2016 年 USENIX 那篇论文,到 Carlini 2024 年 ICML 那篇提取生产 embedding-projection 层的论文。第 9 章用供应链把第三部分收尾:被后门的模型、safetensors 对 pickle、Sigstore 签名,以及漂移监控。

下一章 — 第 8 章:针对模型的对抗性攻击。离散输入空间里的基于梯度的攻击、通过 API 的黑盒攻击,以及作为"机密性 + 安全性"关切的模型窃取。

想看完整的?书里的章节包含完整的 Ji/Huang 分类、温度缩放的数学、可跑的混合式验证流水线、两种人机协同失败模式及其缓解,以及本文只做摘要的 In Plain English 边栏。在 Amazon 上查看 LLM Primer VII →