第 14 章 — 偏见、公平与责任 AI
《LLM Primer VII: AI Security》章节走读的第十四篇。这一章把责任 AI 当作一门在不确定性下做选择的学科来处理 —— 技术工具让权衡浮出水面,但并不替你解决它。
这一章为什么存在
偏见、公平和责任 AI,是第 13 章那些监管试图处理的实质内容。技术文献和组织文献在这里碰面。这一章走一遍 LLM 里偏见的来源、公平测量文献及其方法上的局限、对齐工作里记录下来的 safety-utility 权衡、作为相关但截然不同学科的透明度与可解释性,以及把这一切翻译成运营实践的组织 AI 政策。Bender、Gebru、McMillan-Major 和 Shmitchell 2021 年"Stochastic Parrots"那篇论文,定下了参考框架;这几年这个领域一直在琢磨这个框架对工程意味着什么。
14.1 偏见有几种来源,机制各不相同
LLM 里的偏见,不是一个单一现象。主要来源包括训练数据偏见(语料反映了产出它的人群 —— 英语被过度代表、某些人群比别的人群代表更多、历史关联模式被保留下来)、表征偏见(某些概念或群体在表征上颗粒度更粗,因为训练信号更稀疏)、分配偏见(模型的输出在群体之间不均匀地分配某种资源 —— 关注、机会、信用 —— 即使单个输出看起来合理)、评估偏见(用来给模型发合格证的基准,反映了它们创造者和参照人群的偏见)、以及部署偏见(使用的语境把模型推向训练没预料到的结果)。每一样都有不同的机制,不同的缓解路径。训练数据偏见靠语料策划与增补处理,有其局限 —— 你不能凭空造出不存在的、有代表性的数据。表征偏见靠有针对性的微调处理,附带第 16 章的告诫 —— 微调也可能侵蚀对齐。分配偏见需要系统级干预,而不是模型级调优。评估偏见要求扩展基准集。部署偏见要求产品级的审视,任何模型工作都替代不了。
14.2 公平是被基准测量的,不完美地、并且互相意见不合
LLM 里的公平测量,产出了一份丰富的方法论文献和几个标准基准。BOLD(Dhamala 等,FAccT 2021)在开放式生成里跨人口群体测量情感、有害性和 regard。BBQ(Parrish 等,2022)用手工构造的问答对来探测偏见。StereoSet 和 CrowS-Pairs 探测刻板印象关联。每个基准测量的东西都不同,没有哪个单一基准能捕获一个组织可能关心的所有公平性质。方法论文献也说得很清楚,公平指标相互之间可能不一致 —— 改善群体平等可能会恶化跨群体的校准准确率,反之亦然 —— 因此选哪个指标本身就是一次价值选择,组织得去做,而不是推给技术判断。safety-utility 权衡在 Anthropic 2022 年《Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback》里被记录下来,一直持续到 DPO 文献,是那份经验上确立的观察:训练模型更无害往往也把它训得更没帮助。现代对齐方法把这条前沿推移了,但没有消除权衡。工程上的选择是:为具体产品在这条前沿上落到哪里,而这个选择必须对用户、监管者、以及被这份权衡影响的听众来说是站得住的。
14.3 透明度与组织政策承担着重量
透明度(系统属性的披露)与可解释性(对具体输出的说明)在概念上是不同的。透明度大体上由第 13 章的文档 artefact 来服务 —— 模型卡、系统卡、数据表。可解释性是技术要求更高的问题。SHAP(Lundberg 和 Lee,NeurIPS 2017)和 LIME(Ribeiro 等,KDD 2016)是为分类而开发的,套到 token 生成上并不完美。机制性可解释性 —— Anthropic 的字典学习工作、OpenAI 的自动化电路发现 —— 是一条前沿研究线,生产应用还在成形中。监管常常要求当下技艺尚不能给出的那种解释,诚实的工程回答是把这条口子命名出来,而不是糊过去。组织 AI 政策,是这些实质关切变得可运营的地方。政策必须确立谁对 AI 决策有决定权、在用 AI 系统的清单、一份风险分级做法、从评估到退役的生命周期纪律、一份数据处理标准、以及一份人机监督标准。Anthropic 的 Responsible Scaling Policy、OpenAI 的 Preparedness Framework、Google DeepMind 的 Frontier Safety Framework 和 Microsoft 的 Responsible AI Standard,是已发布的、定下行业地板的示例。
第 14 章为下面铺了什么
第 15 章转向承载这门学科的组织基础设施:适合 AI 工作的安全文化、测试组织姿态的红队与审计职能、处理供应链的供应商风险评估、支持持续保障的持续评估基础设施,以及长期的模型管理。处理建立在第 13 章的监管上下文和第 14 章的实质关切之上,给它们赋予运营形式。第 16 章接着收窄到微调作为独立的安全面 —— 良性数据造成的对齐侵蚀、有意投毒、CI 里的评估门禁、回滚纪律 —— 第 17 章以看那些还在成形中的威胁 —— 自主智能体、多模态攻击面、合成身份,以及 2026 年中期 AI 对 AI 的动态 —— 给整卷收尾。
下一章 — 第 15 章:构建一个安全的 AI 组织。面向 AI 的安全文化、内部红队、供应商风险评估、持续评估,以及长期的模型管理。
