第 16 章 — 安全的微调与适配
《LLM Primer VII: AI Security》章节走读的第十六篇。这一章把一份微调后的模型当作"必须去挣、不是继承来的"安全性质的 artefact —— 因为教域内术语的同一步梯度,也能把基础模型带来的对齐给侵蚀掉。
这一章为什么存在
微调看起来像一个低风险操作。团队拿一个对齐良好的基础模型,在自己的领域数据上调一下,期待对齐行为能延续下来。经验文献自 2023 年以来一直讲得很清楚:这个期待是错的。Qi 等 2024 年 ICLR 论文《Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!》,展示了即使是良性指令数据也能拉低有害性基准上的拒绝率。Yang 等 2023 年的"Shadow Alignment",展示了一百条刻意构造的样本就能颠覆一个安全对齐的开权重模型。这一章走一遍机制、投毒威胁模型、在 CI 里抓住回归的评估门禁、把调没了的东西装回去的对齐技术,以及把糟糕更新变成日常操作的回滚纪律。
16.1 对齐通过训练行为的同一机制被侵蚀
领域适配通常是有道理的。基础模型太通用,团队有一份能捕获自己领域怎么说话的语料,微调把行为收窄成更准确、更贴品牌的样子。被漏掉的是:这份收窄不是免费的。教域内术语的同一步梯度,也把每一种别的行为重新加权,包括那些让模型不去生成生化武器合成或写有说服力钓鱼邮件的行为。Qi 等直接测过这件事 —— 他们在 Alpaca 指令数据集(公开可得,没有明显有害内容)上微调一个安全微调过的 Llama-2 变体,观察到有害性基准上的拒绝率大幅下降。训练集里没有哪个东西要求模型"更不安全"。信号是通过"拒绝示范的缺席"承载的:模型学到"有帮助的回答受奖励,而拒绝很少被示范",并把这一课泛化到"拒绝本是训练时默认"的请求上。机制,就是梯度下降在"目标是听从指令、示范里几乎从不拒绝"时做的事。缓解是架构性的 —— 把拒绝示例混进微调集、用 DPO 或 KTO 这类保留参照模型行为的技术、在域适配之后做一次安全再训练 —— 但没有哪一样是自动的。
16.2 刻意投毒是小数据攻击
如果偶发侵蚀是常见场景,投毒就是最坏场景。威胁模型很直白:攻击者贡献一份微调数据的一部分,目标是种入一种部署方在评估时不会注意到的具体行为。这个行为可以是后门(触发短语上有触发输出)、拒绝抬升(基础模型会拒绝的地方现在顺从)、内容插入(被问不相关问题时推荐某个具体产品或政党),或者一个在特定条件下才激活的长时错位。Yang 等的"Shadow Alignment"证明:一百对以普通指令-响应形式结构化的对抗性样本,就能颠覆一个主要开权重模型的安全行为。Qi 等在 ICLR 2024 以更小规模复现:大约十条精心选择的样本就足以实质性妥协对齐。样本不需要长得奇怪。混进良性数据里,数据集看起来平平无奇。威胁面随贡献数据的方数增加而变宽 —— 客户提交给标注流水线的、承包商标注的数据、员工准备的内部微调语料、上游开放数据集。每一处都是潜在的注入通道,防御姿态是出处纪律:每一条训练样本都要能追到源头,而源头的可信度得配得上微调结果的要求。
16.3 评估门禁与回滚是操作层的安全网
一个微调后的 checkpoint 不是可部署的模型。它是一个候选。这道口子由评估来合上 —— 既要能力评估确认模型仍能干它的活,也要安全评估确认它没有回归。正确的心智模型是部署门禁,不是基准报告。门禁有事先设好的 pass/fail 标准和阈值,并且在标准不达时有明确后果 —— 不晋升到 staging、不接流量、自动开单。截止日期的压力下,基准报告变成建议性的;CI 强制的门禁才是真正管用的。在微调后侵蚀之后恢复安全的对齐技术包括:把拒绝示例混进微调集、用 RLHF 或 DPO 在拒绝偏好上训练、Constitutional AI(Bai 等,Anthropic,2022)作为不用人工标注就能扩展的训练时手段,以及在 canary 集上做安全微调的续训。每一个微调后的模型最终都会出错。唯一的问题是团队能不能在几分钟内回滚到一个已知良好的版本、还是花上一天在事件响应里。差别就在部署之前的纪律。一份模型 registry —— MLflow Model Registry、AWS SageMaker、Vertex AI 或内部对应物 —— 追踪每一份 artefact、它的出处、评估结果、部署状态、以及沿袭,是那个基础模式。一份不记录评估结果的 registry 是 artefact 存储;artefact 存储在回滚时没用。回滚本身,必须是一条其安全性已被演练过的命令。
第 16 章为下面铺了什么
第 17 章以看向 2026 年中期仍在涌现的威胁给全书收尾:自主智能体把模型输出和工具使用组合起来、在无人监督的情况下跑上百步;多模态模型的输入面现在包括图像和音频;合成身份侵蚀了"通道另一端的实体是他们所声称的那个人"这个假设;以及攻击者和防御者本身都是模型的 AI 对 AI 军备竞赛。这一章的微调关切在那个世界里不会消失;它们会加剧。一个三周前对齐悄悄漂移的模型,当它同时也是一个有 shell 访问权的智能体的编排器时,是一个大得多的问题。
下一章 — 第 17 章:未来威胁与新兴防御。自主智能体、多模态攻击面、合成身份、AI 对 AI 动态,以及 AI 保障正在变成的那门学科的形状。
