第 14 章 — 偏見、公平性與負責任 AI
《LLM Primer VII:AI 安全》章節走讀的第十四篇。這一章把負責任 AI 當作在不確定下做選擇的紀律 — 那裡技術工具浮現取捨,卻不解決它們。
這一章為什麼存在
偏見、公平性與負責任 AI,是第 13 章的監管所試圖處理之實質內容。技術文獻與組織文獻在此交會。這一章走 LLM 中偏見的來源、公平性量測文獻及其方法學極限、對齊工作記錄的安全對比效用取捨、透明度與可解釋性作為相關卻不同的紀律,以及把這一切轉化為作業實務的組織 AI 政策。Bender、Gebru、McMillan-Major 與 Shmitchell 2021 年的《Stochastic Parrots》論文設定了參照框架;此領域花了這幾年時間在弄清楚這個框架對工程意味著什麼。
14.1 偏見有幾個來源,機制各異
LLM 中的偏見不是單一現象。主要來源是訓練資料偏見(語料反映出產出它的人群 — 英文被過度代表、某些人口群體被較多代表、歷史關聯樣式被保留)、表徵偏見(某些概念或群體因訓練訊號較稀疏而被較少細節地代表)、分配偏見(模型輸出把資源 — 注意力、機會、信用 — 在群體間不均勻地分配,即使個別輸出看起來合理)、評估偏見(用來認證模型的 benchmark 反映了其創作者與參照群體的偏見)、以及部署偏見(使用脈絡把模型推向訓練沒預料到的結果)。每一種有不同的機制與不同的緩解路徑。訓練資料偏見透過策展與擴增來處理,有極限 — 你無法捏造不存在的代表性資料。表徵偏見透過針對性微調來處理,但要小心第 16 章那個「微調也能侵蝕對齊」的警告。分配偏見需要系統層級的介入,而非模型層級的調校。評估偏見需要擴大 benchmark 集。部署偏見需要產品層級的檢視,任何模型工作都無法替代。
14.2 公平性以互相不一致的 benchmark 被不完美地量測
LLM 中的公平性量測產出了大量方法學文獻與幾個標準 benchmark。BOLD(Dhamala 等人,FAccT 2021)量測開放式生成中跨人口群體的情感、毒性與觀感。BBQ(Parrish 等人,2022)用手工建構的問答對來探測偏見。StereoSet 與 CrowS-Pairs 探測刻板印象聯想。每個 benchmark 量測不同的東西,而沒有單一 benchmark 能捕捉組織可能在意的公平性屬性。方法學文獻也明白指出:公平性指標可以互相不一致 — 改善群體 parity 可能惡化跨群體的校準準確率,反之亦然 — 因此指標選擇本身就是組織必須做出的價值選擇,不能延遲到技術判斷。安全對比效用的取捨 — Anthropic 2022 年論文《Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback》記錄、DPO 文獻延續的 — 是實證確立的觀察:訓練模型變得更無害的同時,傾向也把它訓練得比較沒幫助。現代對齊方法把邊界前移,但沒消除取捨。工程選擇是為具體產品要在邊界上哪個點營運,而這個選擇必須向使用者、監管者、以及取捨會影響的群眾都可辯護。
14.3 透明度與組織政策扛下重擔
透明度(揭露系統屬性)與可解釋性(對特定輸出的說明)概念上不同。透明度大多由第 13 章的文件產物服務 — model card、system card、datasheet。可解釋性是技術上要求更高的問題。SHAP(Lundberg 與 Lee,NeurIPS 2017)與 LIME(Ribeiro 等人,KDD 2016)是為分類發展的,不完美地適配到 token 生成。機制可解釋性 — Anthropic 的字典學習工作、OpenAI 的自動化 circuit discovery — 是研究前沿,其生產應用仍在形成中。監管常常要求現況技術尚無法交付之解釋類型,而誠實的工程回答是命名這道落差,而不是把它糊過去。組織 AI 政策,是實質關切變成作業的地方。政策必須確立誰對 AI 決策有權威、在用 AI 系統的清冊、風險分級做法、從評估到退役的生命週期紀律、資料處理標準、以及人工監督標準。Anthropic 的 Responsible Scaling Policy、OpenAI 的 Preparedness Framework、Google DeepMind 的 Frontier Safety Framework 與 Microsoft 的 Responsible AI Standard,是設定產業地板的已公開範例。
第 14 章鋪陳出來的東西
第 15 章轉向支持此門紀律的組織基礎設施:適合 AI 工作的資安文化、測試組織姿態的紅隊與稽核功能、處理供應鏈的供應商風險評估、支援持續保證的持續評估基礎設施,以及長期模型維運。處理建立在第 13 章的監管脈絡與第 14 章的實質關切之上,並賦予它們作業形狀。第 16 章接著縮到微調作為它自己的資安表面 — 透過良性資料的對齊侵蝕、蓄意中毒、CI 裡的評估閘門、回滾紀律 — 而第 17 章看那些還在成形的威脅:自主 agent、多模態攻擊面、合成身分,以及 2026 年中的 AI-versus-AI 動態,以此收束全卷。
下一篇 — 第 15 章:打造安全的 AI 組織。AI 專屬的資安文化、內部紅隊、供應商風險評估、持續評估,以及長期模型維運。
