第 17 章 — 未来威胁与新兴防御

《LLM Primer VII: AI Security》章节走读的第十七篇,也是最后一篇。这一章跨过已经成熟到能写下来的学科,给社区还在琢磨的那些 —— 自主智能体、多模态攻击面、合成身份,以及 2026 年中期 AI 对 AI 的军备竞赛 —— 命名。

这一章为什么存在

第 1 到第 16 章走了那些已经成熟到能写下来的安全学科。第 17 章走那些还在成形中的。这份对比要紧。前面几章回答的是"我们知道怎么做,问题是你的组织会不会做"。这一章回答的是"社区还在琢磨什么叫好,明年的答案可能和今年不一样"。两种工作都真实,两种都属于工程师的储备。第一种让系统今天安全。第二种让它们两年之后还安全。

17.1 自主智能体把爆炸半径乘以工具预算

一个自主智能体是这样的系统:一个语言模型被给了目标、一组工具,以及在没有每步人工审查下按顺序调用那些工具的权威。模型决定下一步做什么;工具执行;结果回喂;循环继续,直到目标达成或停止条件触发。AutoGPT 和 BabyAGI 在 2023 年初公开原型了这个模式;LangChain 把它形式化;Anthropic 的 Claude computer use(2024 年 10 月)和 OpenAI 的 Operator(2025 年 1 月)把它变成了商业产品,把浏览器或桌面的权威交给一个模型。安全性质和单轮生成截然不同。一个产出一份完成的模型,权威是"写一段应用可能会去用的文字"。一个操作浏览器的模型,最坏情况下的权威是"做浏览器能做的一切,没有人工审查点"。前面几章组合出来的缓解 —— 工具 allow-list、作用域窄的能力 token、模型之外的每工具策略检查、对高影响动作的人工确认、硬步数上限、预算封顶 —— 在这里以加强的重点适用。智能体的自主性是在任何具体事件发生之前就做出的设计决定,而设计决定任何一次妥协的天花板。

致命三重奏 (Lethal Trifecta)

Simon Willison 2025 年给智能体世界里最危险的组合起了个名字:不可信输入 × 敏感数据 × 外部副作用能力。任何一个单独存在都可控;三样同时到齐,就是把加载的枪交出去。

17.2 多模态攻击面把注入通道拓宽几个数量级

纯文本模型读 tokeniser 能识别的东西。一个视觉-语言模型读图像,而图像在像素级带宽上超出文本能承载的一切,周围的应用通常也无法像检查字符串那样检查一张图像里有什么。Schlarmann 和 Hein 2023 年的《On the Adversarial Robustness of Multi-Modal Foundation Models》证明:对图像做人眼看不出的扰动,就能显著改变 VLM(Vision-Language Model,视觉-语言模型)的文本输出 —— 经典对抗性样本攻击适配到一个新模态上。图像里嵌的文字(截图、meme、文档扫描)是另一个面:图像里 OCR(Optical Character Recognition,光学字符识别)检测到的指令,能通过视觉通道做间接 prompt injection。音频-语言模型收口语输入;对抗性音频扰动,有些人耳听不到,已经被演示过。视频把两条通道加在一起。每一种模态都是一个新的注入面,防御工作刚开始追赶:VLM 之前的扫描器,标记或剥除图像里 OCR 检测到的文字;多模态输入上的出处标签;像对文本一样对视觉和音频通道保持同等怀疑的对齐训练;以及模态感知的输出过滤。前面几章的模式 —— 不要让信任边界坍缩成单一输入 —— 延伸到前面几章还没需要命名的模态上。

17.3 合成身份与 AI 对 AI 重塑周界

前两节把模型当靶子。第三节把模型当工具。一个生成模型,其输出与真人产出无法区分,就削弱了任何依赖"真伪可辨"的安全机制。从几分钟语音里生成的合成语音,推动了针对听得出 CEO 声音的财务员工的语音钓鱼。深度伪造视频伪造公共人物的画面。合成文本在商业邮件欺诈里模仿一个具体人的写作。到 2026 年,这些都不算稀奇;工具是大宗商品,每次生成的成本只有几分钱。防御回应一直是出处基础设施 —— C2PA(Coalition for Content Provenance and Authenticity,内容出处与真实性联盟)内容凭证、水印研究、对真实媒体的加密签名 —— 以及在高风险决策依赖通道真伪时提升身份核验。更宽的防御轨迹是 AI 对 AI:建立在语言模型上的安全系统,被部署来防御其他语言模型生成或放大的攻击。自动化红队 —— NVIDIA Garak、Microsoft PyRIT —— 在攻击者一侧用模型替代人。护栏、安全分类器和异常检测,在防御者一侧用模型替代人。这场军备竞赛不舒服,但它是运营现实。AI 保障(AI Assurance),那门新兴的、"以既定置信度表明一个 AI 系统满足其要求"的学科,试图给这场军备竞赛一个稳定立足点 —— 持续评估基础设施、第三方认证、事件披露规范,以及 ISO/IEC 42001 和 NIST AI RMF 社区在延伸的标准工作。

系列在此收官

第 17 章是《LLM Primer VII》的收官之章,也是整个《LLM Primer》系列的收官之章。第 I 卷从注意力机制出发引入了基于 transformer 的语言模型架构。第 II 卷讲了训练、对齐,以及构建它的实操生命周期。第 III 卷考察了检索增强生成及其周围的数据流水线。第 IV 卷讲了评估、工具,以及在生产里围绕模型的工程实践。第 V 卷走的是智能体和工具使用的模式,这一章现在从对抗性视角把它们再处理了一遍。第 VI 卷讲了推理基础设施和组织规模下的扩展模式。第 VII 卷,也就是这一卷,是关于防护上面这一切的。这七卷是当作一张相连的地图写的。读到这一章、还没访问过更早几卷的读者,建议回过头去,因为本书里许多安全声明,都仰仗那几卷所建立的架构细节。

Volume VII · 十七章一览

姊妹卷《Physical AI》把这张地图向前延伸到具身系统 —— 机器人、自主车辆,以及那些同一层概率底座开始控制执行器、并和人类共享物理空间的现实世界部署。本卷的安全关切带着修改一并延续:通过视觉通道的 prompt injection 变成了带着一米物理触及的安全关切;工具边界现在是马达控制器;对抗性输入是被放在操作环境里的物体。这七卷的学科,是那份工作的前置条件,不是它的替代品。从 transformer 注意力,到基础设施,到安全,这条弧线继续延伸到物理世界 —— 那里,赌注变得可触。