第 17 章 — 未来威胁与新兴防御
《LLM Primer VII: AI Security》章节走读的第十七篇,也是最后一篇。这一章跨过已经成熟到能写下来的学科,给社区还在琢磨的那些 —— 自主智能体、多模态攻击面、合成身份,以及 2026 年中期 AI 对 AI 的军备竞赛 —— 命名。
这一章为什么存在
第 1 到第 16 章走了那些已经成熟到能写下来的安全学科。第 17 章走那些还在成形中的。这份对比要紧。前面几章回答的是"我们知道怎么做,问题是你的组织会不会做"。这一章回答的是"社区还在琢磨什么叫好,明年的答案可能和今年不一样"。两种工作都真实,两种都属于工程师的储备。第一种让系统今天安全。第二种让它们两年之后还安全。
17.1 自主智能体把爆炸半径乘以工具预算
一个自主智能体是这样的系统:一个语言模型被给了目标、一组工具,以及在没有每步人工审查下按顺序调用那些工具的权威。模型决定下一步做什么;工具执行;结果回喂;循环继续,直到目标达成或停止条件触发。AutoGPT 和 BabyAGI 在 2023 年初公开原型了这个模式;LangChain 把它形式化;Anthropic 的 Claude computer use(2024 年 10 月)和 OpenAI 的 Operator(2025 年 1 月)把它变成了商业产品,把浏览器或桌面的权威交给一个模型。安全性质和单轮生成截然不同。一个产出一份完成的模型,权威是"写一段应用可能会去用的文字"。一个操作浏览器的模型,最坏情况下的权威是"做浏览器能做的一切,没有人工审查点"。前面几章组合出来的缓解 —— 工具 allow-list、作用域窄的能力 token、模型之外的每工具策略检查、对高影响动作的人工确认、硬步数上限、预算封顶 —— 在这里以加强的重点适用。智能体的自主性是在任何具体事件发生之前就做出的设计决定,而设计决定任何一次妥协的天花板。
17.2 多模态攻击面把注入通道拓宽几个数量级
纯文本模型读 tokeniser 能识别的东西。一个视觉-语言模型读图像,而图像在像素级带宽上超出文本能承载的一切,周围的应用通常也无法像检查字符串那样检查一张图像里有什么。Schlarmann 和 Hein 2023 年的《On the Adversarial Robustness of Multi-Modal Foundation Models》证明:对图像做人眼看不出的扰动,就能显著改变 VLM 的文本输出 —— 经典对抗性样本攻击适配到一个新模态上。图像里嵌的文字(截图、meme、文档扫描)是另一个面:图像里 OCR 检测到的指令,能通过视觉通道做间接 prompt injection。音频-语言模型收口语输入;对抗性音频扰动,有些人耳听不到,已经被演示过。视频把两条通道加在一起。每一种模态都是一个新的注入面,防御工作刚开始追赶:VLM 之前的扫描器,标记或剥除图像里 OCR 检测到的文字;多模态输入上的出处标签;像对文本一样对视觉和音频通道保持同等怀疑的对齐训练;以及模态感知的输出过滤。前面几章的模式 —— 不要让信任边界坍缩成单一输入 —— 延伸到前面几章还没需要命名的模态上。
17.3 合成身份与 AI 对 AI 重塑周界
前两节把模型当靶子。第三节把模型当工具。一个生成模型,其输出与真人产出无法区分,就削弱了任何依赖"真伪可辨"的安全机制。从几分钟语音里生成的合成语音,推动了针对听得出 CEO 声音的财务员工的语音钓鱼。深度伪造视频伪造公共人物的画面。合成文本在商业邮件欺诈里模仿一个具体人的写作。到 2026 年,这些都不算稀奇;工具是大宗商品,每次生成的成本只有几分钱。防御回应一直是出处基础设施 —— C2PA 内容凭证、水印研究、对真实媒体的加密签名 —— 以及在高风险决策依赖通道真伪时提升身份核验。更宽的防御轨迹是 AI 对 AI:建立在语言模型上的安全系统,被部署来防御其他语言模型生成或放大的攻击。自动化红队 —— NVIDIA Garak、Microsoft PyRIT —— 在攻击者一侧用模型替代人。护栏、安全分类器和异常检测,在防御者一侧用模型替代人。这场军备竞赛不舒服,但它是运营现实。AI 保障,那门新兴的、"以既定置信度表明一个 AI 系统满足其要求"的学科,试图给这场军备竞赛一个稳定立足点 —— 持续评估基础设施、第三方认证、事件披露规范,以及 ISO/IEC 42001 和 NIST AI RMF 社区在延伸的标准工作。
系列在此收官
第 17 章是《LLM Primer VII》的收官之章,也是整个《LLM Primer》系列的收官之章。第 I 卷从注意力机制出发引入了基于 transformer 的语言模型架构。第 II 卷讲了训练、对齐,以及构建它的实操生命周期。第 III 卷考察了检索增强生成及其周围的数据流水线。第 IV 卷讲了评估、工具,以及在生产里围绕模型的工程实践。第 V 卷走的是智能体和工具使用的模式,这一章现在从对抗性视角把它们再处理了一遍。第 VI 卷讲了推理基础设施和组织规模下的扩展模式。第 VII 卷,也就是这一卷,是关于防护上面这一切的。这七卷是当作一张相连的地图写的。读到这一章、还没访问过更早几卷的读者,建议回过头去,因为本书里许多安全声明,都仰仗那几卷所建立的架构细节。
姊妹卷《Physical AI》把这张地图向前延伸到具身系统 —— 机器人、自主车辆,以及那些同一层概率底座开始控制执行器、并和人类共享物理空间的现实世界部署。本卷的安全关切带着修改一并延续:通过视觉通道的 prompt injection 变成了带着一米物理触及的安全关切;工具边界现在是马达控制器;对抗性输入是被放在操作环境里的物体。这七卷的学科,是那份工作的前置条件,不是它的替代品。从 transformer 注意力,到基础设施,到安全,这条弧线继续延伸到物理世界 —— 那里,赌注变得可触。
感谢读完这次走读。书本身承载了完整的例子、可以跑的代码、事件手册,以及本文没有篇幅承载的更长版本的 In Plain English 边栏。如果这里的任何东西对你有用,影响最大的下一步是把这套框架应用到你的组织正在防护的那个具体系统上 —— 第 2 章的威胁模型、第 4 和第 5 章的分层缓解、第 10 章的架构模式、第 11 章的可观测性,以及第 15 章的组织纪律,是承重的那几块。
