第 3 章 — 数据安全与隐私
《LLM Primer VII: AI Security》章节走读的第三篇。这一章把数据当作一份有生命周期的资产来处理 —— 从被模型部分记住的训练语料,到 Samsung 工程师在这类事件还没被命名之前就已经粘进 ChatGPT 的那些代码。
这一章为什么存在
第 2 章的威胁模型把数据点为六大资产类别之一。LLM 系统里的数据安全,有足够独特的性质,配得上单独一章。训练语料里有版权材料、个人信息、以及使用条款会随时间漂移的授权内容。训练好的模型会以攻击者能提取的方式,把语料的碎片记下来。生产输入本身就是敏感数据 —— 2023 年 4–5 月的 Samsung 事件把这件事定死了 —— 它们的处理是一件与模型行为无关的、独立的安全关切。2023 年 3 月意大利 Garante 对 ChatGPT 的动作确立:数据保护法适用于这类系统,不管开发者当初有没有为此设计。这一章走一遍数据从摄入到删除的整条生命周期。
3.1 训练语料里有版权、PII 和授权漂移
前沿模型的训练语料大到没有哪个人能一头读到另一头 —— Common Crawl、Wikipedia、书籍、爬取的网页文本、代码、授权 feed、合成数据。规模是能力的来源,也是风险的来源。第一类风险是版权:自 2023 年起,"用版权材料训练"的法律定性一直被争论,新闻机构、作者、图像权利人、代码许可证的执行方都提起了大规模诉讼,美国版权局、欧盟和英国的立场也在向"训练至少在某些时候是与版权相关的行为"这一认定上收敛。第二类是个人信息:爬取而来的网页语料里不可避免地含有姓名、联系方式、职业履历、法院记录、被泄库、以及凭据。GDPR、CCPA/CPRA、PIPL、DPDPA、LGPD 和 PIPEDA 都适用于这些,不看模型提供方所在何处。意大利 Garante 在 2023 年 3 月对 ChatGPT 的动作是第一枪;后续动作还在继续。第三类是授权漂移 —— 一个组织所"相信可以用来训练的"和底层合同"实际允许"的之间,那份逐渐拉开的差距。一份按语料源维度的授权登记,链接到训练数据清单,是把这个问题的答案保持在确定状态的那份纪律。
3.2 记忆化是性质,提取是攻击
一个训练好的模型是它训练数据的一份有损、分布式的压缩。大多数训练文档不是直接可恢复的,但压缩并不完美。Carlini 和同事 2021 年 USENIX 上的《Extracting Training Data from Large Language Models》,证明可以通过精心选择前缀,诱导 GPT-2 逐字吐出训练样本 —— 姓名、电话号码、邮箱、代码片段。2023 年 ICLR 的后续《Quantifying Memorization Across Neural Language Models》,展示了记忆化随模型容量、语料规模和样本重复度线性上升:更大的模型记得更多,去重能缓解、但关不上这道口子。Nasr 和同事 2023 年的《Scalable Extraction of Training Data from (Production) Language Models》,通过一个使模型偏离指令跟随、退回到原始训练数据输出的 divergence attack,把攻击扩展到了包括 ChatGPT 在内的对齐生产模型。有两件事值得分开看:记忆化是模型的性质;提取是拥有 API 访问权的对手拿这份性质做的事。一个模型可以记住从未被提取的内容;一次提取尝试也可能在一个记忆化很高的模型上失败。缓解栈是去重、能抵抗 divergence 的对齐训练、对与 canary 字符串逐字匹配的输出过滤,以及能抬高高频次查询攻击成本的速率限制。
3.3 用户输入是一类需要管起来的数据
2023 年 4–5 月的 Samsung 事件 —— 三起半导体工程师把机密源码粘进 ChatGPT 的独立案例 —— 用最白话的方式把这件事说清了。在一个集成了 LLM 的系统里,用户输入本身就是一类数据。每一个生产部署都必须在纸面上回答:哪些类别用户可以合法地发过来;哪些类别在 prompt 到达模型之前必须被检测并阻止或者脱敏;输入存在哪、由谁存、存多久;输入是否被用于后续训练、用户是否同意;存下来的这些谁能读;删除请求来了怎么办。缺少答案本身就是政策上的漏洞。对服务于受监管领域的系统来说,在用户侧和模型之间加一条脱敏流水线 —— Microsoft Presidio 是一款开源工具包 —— 用来检测 PII 并按策略掩码、替换或拒绝。别处保护数据用的那些操作纪律在这里全适用:训练、微调、prompt 模板、检索语料、日志、缓存这些存储都要静态加密;传输走 TLS 或 mTLS;跨存储、prompt 构造和日志路径的每租户隔离;以及一条对 GDPR 第 17 条或 CCPA 删除请求有明确 SLA 的留存策略。多租户泄露是最能可靠地终结一个部署的故障模式;要防住它所需的纪律,和多租户数据库隔离相当,再加上一层"模型本身是共享的"这条褶皱。
第 3 章为下面铺了什么
第 1 到第 3 章合起来是第一部分:地基。第二部分转向运行内部。第 4 章接手 prompt injection 和 jailbreak —— OWASP LLM01 这个问题 —— 借鉴 Willison 最初的框架、Greshake 的间接注入论文、Zou 等的通用后缀工作、Wei 等的 jailbreak 分类,以及 Wallace 等的 instruction-hierarchy 训练。第 5 章把输入验证和输出过滤两层做成可以操作的纪律,配上这个领域已经收敛的护栏工具和对抗性测试框架。第 6 章专门讲检索增强生成,那里正是这章的数据风险和第 4 章的注入风险碰面的地方。贯穿的原则是:这些系统里的安全,是架构的性质,不是模型的一个功能。
下一章 — 第 4 章:Prompt Injection 与 Jailbreak。为什么 SQL 注入的类比只能走这么远、经历过每次模型更新都没被消灭的那几类 jailbreak,以及第二部分后面几章要展开的那层分层缓解策略。
