第 1 章 — 为什么 AI 安全和以往不同
《LLM Primer VII: AI Security》章节走读的第一篇。这一章要说的是:AI 安全不是给传统安全前面挂一个 ML 形容词那么简单 —— 底座变了,后面每一章都是这个变化的直接推论。
这一章为什么存在
三十年来,安全工程一直立在一块稳定的地基上:代码和数据是两回事,漏洞是规定行为和实际行为之间的落差,打补丁能把落差合上。大语言模型以一种很具体的方式把这块地基给打破了。要防护的行为不再编码在源码里,而是编码在几十亿个学出来的权重里,并且在执行时,它面对的输入是把受信任的指令和不受信任的内容拼在同一根字符串上的。所谓"漏洞"往往并不是 bug —— 模型是在做它训练时被教会做的事,只不过是在设计者没有预料到的语境里做。没有一个补丁可以修"这个模型太乐于助人"。有的只是重设计、重训练,或者加更多的容纳。这一章要做的,是把后面所有讨论都要仰仗的那几点结构性差异一一命名。
1.1 底座变了
传统应用安全能成立,是因为行为在代码里定义、缺陷可定位。SQL 注入之所以有结构性的修复 —— 参数化查询 —— 是因为查询和参数之间存在一条句法上的分界。语言模型没有这种规范。它只有一个训练目标和一份权重分布,面对任何一个具体输入,它的行为都是涌现出来的。当模型拒绝一种措辞而顺从另一种时,并没有哪一行代码可以去改。安全上的问题从"这条代码路径里有没有 bug",变成了"这个系统能做到什么、什么条件下这份能力会变得危险"。传统安全把确定性作为默认前提;这里的默认前提是概率性的。一个在一千个测试用例上过关的安全过滤器,可能会在第一千零一个上失效,只因为采样走了另一条路径。防御者要在分布和置信区间里推理,而不是在"不可到达"的证明里推理。OWASP 在 2025 年修订的 LLM 应用 Top 10 —— 把 prompt injection 放在 LLM01、把无限制消耗放在 LLM10 —— 是给这层新地板命名的一次尝试,但它是叠在既有 Web 应用地板之上的一层新地板,不是替代品。
1.2 攻击面变宽了
一个集成了 LLM 的应用引入了以往并不存在的攻击面。prompt 本身就是开发者指令、检索来的上下文、用户输入和工具输出的拼接体 —— 这一整段被模型当作 token 读进去,天然没有信任边界。用户只要能影响其中任何一段,就和开发者共用了同一条通道。检索路径是第二块新面:索引里的每一份文档都是间接的输入,任何能影响什么东西进得了索引的人,就能影响模型看到什么。Greshake 和同事在 2023 年把这称为 indirect prompt injection,并证明这条通道既真实存在、又难以关上。工具使用的边界是第三块:每一个赋予模型的工具,都是一份权限,其后果会脱离响应文本、真正落到实际系统上。训练流水线是第四块 —— 任何用来更新模型的数据都成为信任边界的一部分。模型 artefact 是第五块 —— 大型二进制文件,其反序列化(CVE-2024-3568 是个例子)可以在加载时执行代码。输出处理是第六块 —— 模型生成的内容一旦转发给下游,就是"换了个马甲的不受信任输入"。MITRE ATLAS 编录了针对这个变宽了的攻击面的战术和技术。
1.3 模型正在成为基础设施
2012 到 2022 年间,模型是应用里的功能。一个推荐系统失灵,顶多是推荐得更差。大语言模型 —— 尤其是配上工具使用之后 —— 改变了这一点。模型越来越是编排层 —— 它读文档、决定调用哪个工具、起草信息、生成另一个组件要执行的代码。它常常是系统里最强的那一块,也是最柔软的那一块,由任何人都能写的自然语言输入所驱动。一个传统数据库有查询语言和访问控制;一个充当编排器的 LLM 天生没有这些内在约束,只有周围应用后加上去的那些。这才是"基础设施"在这里的含义:一旦被攻陷、后果会向外传播的承重组件。基础设施会有明确的 SLO、完整的日志、变更控制和事件响应。多数在 2024–2025 年间的 LLM 部署,还没有达到那份成熟度。基础设施这个框架也伸到了采购层面:一个组织把某家托管 LLM 服务嵌进自己的栈时,该厂商的模型更新纪律、评估门禁、披露实践,就成了采购方风险画像的一部分。
第 1 章为下面铺了什么
本书余下的每一章,都是对这里点出的结构性变化的一份回应。第 2 章引入面向 LLM 系统的威胁建模 —— 把 STRIDE 和 PASTA 转向那些不会出现在常规架构图上的资产、对手和攻击面。第 3 章走完数据这一维在整个生命周期里的样子。第 4–6 章走 prompt 与交互这个内部:注入、过滤、RAG。第 7–9 章走模型这一层。第 10–12 章走它周围的系统架构。第 13–15 章补上监管、责任 AI 和组织这道周界。第 16 章把微调作为独立的安全面来走,第 17 章看那些还在形成中的威胁。整条弧线的前提就是这一章确立下来的:底座变了,这门学科也得跟着变。
下一章 — 第 2 章:LLM 系统的威胁建模。Shostack 的四个问题、把 STRIDE 和 PASTA 对准 LLM 资产,以及作为这块新攻击面所吸引对手的战术目录的 MITRE ATLAS。
