LLM Primer VII — 系列引言与索引
《LLM Primer VII: AI Security》的章节走读 —— 系列收官之作,LLM Primer 的工程弧线在此落到那门决定前面这一切能否在对手、监管者以及概率系统日常故障模式面前存活下来的学科。
这个系列为什么存在
传统安全里,代码和数据是两回事。语法分析器、转义、参数化查询,都建立在这条分界线上。到了 LLM 系统,同一个字符串既承载开发者的指令,也承载用户的输入、检索回来的文档、工具返回的结果,以及模型在训练时见过的、任何长得像上面这些东西的内容。没有哪个句法位置对 transformer 来说可以被证明是惰性的,也没有哪一段子串能被保证会被模型当作数据而不是指令读进去。这层结构性的碰撞,是 prompt injection、jailbreak 和对抗性攻击不属于"打个补丁修一下"的实现 bug、而是要在设计层面管理的后果。LLM 系统的安全学科继承了传统安全的词汇 —— 资产、对手、控制、事件 —— 但要在下面重新搭一层底座。第 VII 卷,就是这次重建的书面版本,从威胁模型一路走到监管周界。
第 VII 卷的四段弧线
把十七章按功能重新分组,弧线自然分成四段:先打地基,再走攻击,再搭防御,最后落到组织与监管。
我写给谁看
面向那些手里刚接手一个跑在生产上的 LLM、正在琢磨自己现有的手册哪些还适用的安全工程师;面向那些训了或微调过模型、现在要去想"谁会来攻击它"的 ML (机器学习) 工程师;面向那些跑推理栈、abuse 模式一飙升就被 page 起来的平台负责人和 SRE (站点可靠性工程师);面向那些要在 AI 部署上签字画押、要向董事会、监管者、审计方解释"当涉及的组件吐出的是概率分布时,'安全'究竟是什么意思"的 CISO (首席信息安全官)。本书假定读者对生产工程很熟悉,但不假定读者事先熟悉对抗性 ML;涉及模型的部分从第一性原理搭起,再和现有的安全学科在真实存在连接的地方对接上去。
怎么读
十七章可以分成六部分。第 1–3 章打地基 —— 为什么 AI 安全和以往不同、怎么给一个 LLM 系统做威胁建模、数据这一维在整个生命周期里怎么走。第 4–6 章走 prompt 和交互层:prompt injection、输入输出过滤、检索增强生成。第 7–9 章走模型本身:作为可靠性故障的 hallucination、对抗性攻击、模型供应链。第 10–12 章走模型周围的系统架构 —— 隔离、可观测性、访问控制。第 13–15 章走治理周界 —— 监管、责任 AI、承载这门学科的组织。第 16 章把微调作为独立的安全面来走,第 17 章以那些还在形成中的新兴威胁收尾。
十七章连载
从 5 月 10 日到 5 月 26 日,走读每天发一章。每篇文章把该章的三个核心观点浓缩成大约五分钟的阅读量;书里的章节承载了完整的例子、代码,以及 In Plain English 边栏。
- 5 月 10 日 — 第 1 章 — 为什么 AI 安全和以往不同。传统安全 vs 以模型为中心的安全;LLM 为什么打破了代码和数据的分离,把行为包络变成了攻击面。
- 5 月 11 日 — 第 2 章 — LLM 系统的威胁建模。把 STRIDE、PASTA 和 MITRE ATLAS 应用到 LLM 的资产、对手和攻击面上。
- 5 月 12 日 — 第 3 章 — 数据安全与隐私。训练数据的风险、记忆化与提取、Samsung 和 Garante 事件,以及加密、隔离、留存的操作规程。
- 5 月 13 日 — 第 4 章 — Prompt Injection 与 Jailbreak。直接与间接注入、jailbreak 分类、通用后缀,以及为什么缓解必须分层而不是句法上一次修好。
- 5 月 14 日 — 第 5 章 — 输入验证与输出过滤。分阶段清洗、结构化 prompting、Llama Guard、用 Garak 和 PyRIT 做红队测试,以及诚实的安全指标。
- 5 月 15 日 — 第 6 章 — 检索增强生成的风险。RAG 里的信任边界、恶意文档注入、索引和 embedding 投毒,以及对检索路径的监控。
- 5 月 16 日 — 第 7 章 — 幻觉与可靠性。模型为什么会编造、校准与温度缩放、混合式验证架构,以及行之有效的人机协同模式。
- 5 月 17 日 — 第 8 章 — 针对模型的对抗性攻击。从 FGSM 一路到 TextFooler 再到通用后缀的这条脉络、黑盒 API 攻击,以及作为机密性关切的模型窃取。
- 5 月 18 日 — 第 9 章 — 模型完整性与供应链风险。BadNets、Sleeper Agents、pickle 反序列化 vs safetensors、Sigstore,以及对行为漂移的监控。
- 5 月 19 日 — 第 10 章 — 设计安全的 LLM 架构。隔离、多层验证、OPA 与 Cedar 策略引擎、安全的 API 设计,以及把 zero-trust 应用到模型调用上。
- 5 月 20 日 — 第 11 章 — 可观测性、日志与事件响应。按 OpenTelemetry GenAI 约定该记什么、abuse 检测、告警,以及 NIST 形状的事件手册。
- 5 月 21 日 — 第 12 章 — 访问控制与身份。OAuth、mTLS、RBAC vs ABAC、多租户隔离、速率限制,以及企业治理这一层。
- 5 月 22 日 — 第 13 章 — 监管全景。欧盟 AI 法案的分阶段适用、GDPR 之于 AI、可审计性、模型卡,以及风险分级框架。
- 5 月 23 日 — 第 14 章 — 偏见、公平与责任 AI。偏见的来源、公平基准及其局限、safety-utility 权衡,以及组织层面的 AI 政策。
- 5 月 24 日 — 第 15 章 — 构建一个安全的 AI 组织。面向 AI 的安全文化、内部红队、供应商风险、持续评估,以及长期的模型管理。
- 5 月 25 日 — 第 16 章 — 安全的微调与适配。良性数据造成的对齐侵蚀、有意投毒、CI 里的评估门禁,以及回滚纪律。
- 5 月 26 日 — 第 17 章 — 未来威胁与新兴防御。自主智能体与工具使用的爆炸半径、多模态攻击面、合成身份,以及 AI 对 AI 的保障问题。
关于本书与本系列
LLM Primer 系列共七卷,由 Sho Shimoda 撰写,在 Amazon KDP 出版,并以章节走读的形式在レシートローラー 博客上连载。系列贯穿的观点是:用 LLM 构建东西是一门系统学科,而学习这门学科最好的方式,是用讲机制、成段推进的文字,一层一层走完这个栈,而不是列 checklist。第 VII 卷把这道弧线收拢。它是安全卷,同时也是那一卷 —— 戴上一副对抗性的眼镜,回过头把前面六卷再读一遍:把第 III 卷的检索流水线看作注入通道,把第 VI 卷的推理栈看作速率限制的边界,把第 II 卷的对齐工作看作微调时可以被利用的攻击面。前面那些卷说的是"这东西是这样工作的",这一卷说的是"这东西可以怎么被逼着失败,以及能拿它怎么办"。
