第 2 章 — LLM 系统的威胁建模
《LLM Primer VII: AI Security》章节走读的第二篇。这一章把 Shostack 的四个问题、STRIDE、PASTA 和 MITRE ATLAS,应用到一个系统上 —— 系统里最强的组件,是一个把所有输入都读作潜在指令的东西。
这一章为什么存在
第 1 章论证了 AI 安全在结构上不同。第 2 章要把这份"不同"变成可以操作的形式。Adam Shostack 的四个问题 —— 我们在做什么、可能会出什么问题、我们打算怎么办、我们做得怎么样 —— 对任何系统都是一样的,但当系统里包括了 prompt 构造逻辑、检索流水线、工具注册表,以及一个把检索来的内容和开发者的指令平起平坐去对待的概率函数时,回答这四个问题所用的图、资产清单和对手目录,长得就不一样了。这一章走一遍这些框架 —— STRIDE、PASTA、MITRE ATLAS、NIST AI 100-2 —— 并搭出后面每一章都要回过头来引用的那份 LLM 威胁模型工作模板。
2.1 框架能迁移,图不能再偷懒
STRIDE —— spoofing、tampering、repudiation、information disclosure、denial of service、elevation of privilege —— 出乎意料地能很好地映射到 LLM 系统上。Spoofing 变成对 API 的身份攻击或用户冒充。Tampering 变成 prompt injection、训练数据投毒和检索索引篡改。Repudiation 变成关于"是谁发了哪条 prompt、又是谁产出了哪份输出"的争议。Information disclosure 变成训练数据提取、system prompt 泄露、跨租户暴露。Denial of service 变成 OWASP 的 LLM10 —— 通过昂贵的 prompt 和 token 洪水造成的无限制消耗。Elevation of privilege 变成工具使用的边界 —— 一个用户诱导模型去调用一个高权限工具,就继承了该工具的权限。PASTA 又在上面叠了业务上下文和对手模拟,适合那些已经在做红队工作的团队。这两个框架都假定有一张能把"要问的问题"所依赖的组件区分开的数据流图。对 LLM 系统来说,这张图应该始终把 prompt 构造逻辑、检索流水线、工具注册表、模型调用、输出处理路径,以及日志路径分开。
2.2 常规资产清单上不会出现的资产
一份威胁模型的质量,不会超过它的资产清单。LLM 系统引入了一些对以前只做常规应用的团队来说陌生的类别。模型本身分成几个子资产 —— 权重(一份多 GB 的二进制,代表了大量训练投入)、成文行为(system prompt、安全策略、对齐训练)、以及声誉(一次公开失误会独立于任何技术性妥协去损伤产品)。数据涵盖训练数据、微调数据、检索语料、用户输入和输出;每一样都有自己的机密性、完整性和可用性要求。prompt 自身现在就是一份资产 —— 很多产品的知识产权就活在打磨了数月的 system prompt 里,OWASP 的 2025 版清单明确把 system prompt 泄露列为 LLM07。基础设施涵盖推理栈、向量库、工具接口,以及把它们绑在一起的凭据。日志是资产,因为它是取证记录,而二阶资产 —— 模型声誉、监管地位、客户信任 —— 依赖于主资产在流量冲击下不垮。
2.3 对手各有各的动机
一份对什么都同等防护的威胁模型,等于对什么都没防护。对手清单必须具体。好奇的用户会拿系统去试它会做什么 —— 他们用的是社交媒体上流传的技巧,量大、单次影响低,但对系统"看起来是否安全"这件事累积起来影响很大。恶意用户是奔着具体伤害去的 —— 提取系统本该拒绝的内容、窃取其他用户的数据或 system prompt、通过起草钓鱼邮件或生成恶意软件把系统用来攻击第三方。竞争对手会提取模型(第 8 章)或 system prompt,以减少自己的开发成本。内部人是从信任边界内部动手的。国家级攻击者会把模型级攻击和更宽的手艺组合在一起,他们的目标通常是组织而不是模型本身。自动化的智能体 —— 它们自己就是 LLM,有时被别的对手驱动 —— 是最新的一类,也是第 17 章要接手的那类。每一类对手都有不同的能力、不同的动机、不同的检测画像,能对一类抬高成本的缓解措施,对另一类未必起作用。
第 2 章为下面铺了什么
这里搭出来的模板 —— 一页纸的系统描述、带信任边界的数据流图、资产清单、对手目录、按 STRIDE 分类的威胁枚举、缓解映射、剩余风险登记 —— 是后面这本书要不断填充的那个骨架。第 3 章把数据这一资产类别展开成完整结构 —— 训练数据风险、记忆化与提取、敏感输入的处理、加密与留存。第 4 章接手 prompt injection,而 STRIDE 的 tampering 类别已经把它命名为针对 prompt 构造组件的主要威胁。第 5、6 章在输入、输出和 RAG 层面上把 prompt injection 的缓解手段展开。后面几章会不断回到同一份模板 —— 第 11 章讲可观测性、第 12 章讲身份 —— 但资产清单和对手目录就是这里引入、后面几章要延伸的那两样。
下一章 — 第 3 章:数据安全与隐私。训练数据风险、记忆化与提取、Samsung 和 Garante 事件,以及 LLM 系统里数据安全所要求的加密、隔离和留存操作规程。
