第 16 章 — 安全的微調與適配
《LLM Primer VII:AI 安全》章節走讀的第十六篇。這一章把微調後的模型當作一份其安全屬性必須被爭取、不是被繼承的產物 — 因為同一批教出領域詞彙的梯度步伐,也能侵蝕基底模型帶來的對齊。
這一章為什麼存在
微調看起來像低風險操作。團隊拿一個對齊良好的基底模型、在他們的領域資料上調校,期望對齊行為留存下來。實證文獻從 2023 年起就明白告訴我們這個期望是錯的。Qi 等人 2024 年 ICLR 的論文《Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!》顯示,即使是良性指令資料,也能降低在有害性 benchmark 上的拒絕率。Yang 等人 2023 年的《Shadow Alignment》顯示,一百筆蓄意構造的樣本,可以顛覆一個安全對齊的開放權重模型。這一章走過機制、中毒威脅模型、在 CI 中抓迴歸的評估閘門、把調校侵蝕之物重新裝上去的對齊技術,以及把壞更新變成日常操作的回滾紀律。
16.1 對齊透過那個訓練行為的機制被侵蝕
領域適配通常有充分動機。基底模型太一般,團隊有一份能捕捉自己領域說話方式的語料,調校把行為收窄成更準確、更貼近品牌的東西。被忽略的是:收窄不是免費的。同一批教出領域詞彙的梯度步伐,也重新分配了每一個其他行為的權重,包括那些讓模型不生成生物武器合成、不寫出令人信服之 phishing 的行為。Qi 等人透過在 Alpaca 指令資料集(公開可用、無明顯有害內容)上微調一個安全調校過的 Llama-2 變體、觀察到有害性 benchmark 上的拒絕率大幅下降,直接量測到這件事。訓練集裡沒有任何東西要求模型變得比較不安全。訊號是被拒絕示範的缺席所承載:模型學到了「有幫助的答案會被獎勵、拒絕很少被示範」,並把這個教訓泛化到訓練預設拒絕的請求上。機制是梯度下降在目標為「跟隨指令」而示範幾乎從不拒絕時所做的事。緩解是架構性的 — 在微調集中混入拒絕範例、使用像 DPO 或 KTO 這類保留參照模型行為的技術、在領域適配後套用安全再訓練 — 但沒有一項是自動的。
16.2 蓄意中毒是小資料量攻擊
如果意外侵蝕是常見情況,中毒就是最壞情況。威脅模型很直接:攻擊者貢獻微調資料的某個比例,目標是安裝一個部署者在評估時不會注意到的特定行為。行為可以是後門(在觸發短語上輸出觸發)、拒絕上抬(在基底模型會拒絕之處順從)、內容插入(在被問到不相關問題時推薦特定產品或政黨),或會在特定條件下啟動的長期不對齊。Yang 等人的《Shadow Alignment》顯示一百對結構為普通指令-回應的對抗性對子,就能顛覆一個主要開放權重模型的安全行為。Qi 等人在 ICLR 2024 以較小規模複現:大約十筆精心挑選的樣本就足以實質破壞對齊。樣本不需要奇特。與良性資料混在一起,資料集看起來平常無奇。威脅表面隨貢獻資料方數增加而擴大 — 標註管線的客戶提交、標註資料的承包商、準備內部微調語料的員工、上游開放資料集。每一個都是潛在的注入通道,而防禦姿態是來源歸屬紀律:每一筆訓練樣本都必須可追溯到其來源,而來源必須在微調結果所要求之水平上被信任。
16.3 評估閘門與回滾是作業上的安全網
一個微調後的 checkpoint 不是可部署的模型。它是候選。差距由評估關閉 — 既是確認模型仍能做它工作的能力評估,也是確認它沒退步的安全評估。正確的心智模型是部署閘門,不是 benchmark 報告。閘門有通過/失敗準則、事前設定的門檻,以及當準則未達時定義好的後果 — 不進 staging、不給流量、自動開票。在期限壓力下,benchmark 報告變成參考;由 CI 執行的閘門才是真正撐得住的。在調校侵蝕後把安全裝回去的對齊技術,包括在微調集中混入拒絕範例、對拒絕偏好做 RLHF 或 DPO、Constitutional AI(Bai 等人,Anthropic,2022)作為不需要人工標註即可規模化的訓練時做法、以及在 canary 集上的安全調校持續訓練。每一個微調過的模型最終都會出錯。唯一的問題是:團隊能在幾分鐘內回滾到已知良好版本,還是花一天做事件回應。差別在部署前的紀律。一個模型 registry — MLflow Model Registry、AWS SageMaker、Vertex AI 或內部等價物 — 追蹤每一份產物、其來源歸屬、其評估結果、其部署狀態、以及其血統,是基礎樣式。一個不記評估結果的 registry 是產物倉庫;產物倉庫在回滾時幫不上忙。回滾本身需要是一個安全性已被演練過的單一指令。
第 16 章鋪陳出來的東西
第 17 章以往前看那些在 2026 年中仍在浮現之威脅收束全書:把模型輸出與工具使用組合起來、可以在無監督下跑數百步的自主 agent;輸入表面現在含影像與音訊的多模態模型;侵蝕「頻道另一端的實體就是他們宣稱的那個人」之假設的合成身分;以及攻擊者與防禦者皆為模型的 AI-versus-AI 軍備競賽。這一章的微調關切,在那個世界不會消失;會加劇。一個三週前對齊悄然漂移的模型,當它同時也是一個具備 shell 存取之 agent 的編排者時,會變成更大的問題。
下一篇 — 第 17 章:未來威脅與新興防禦。自主 agent、多模態攻擊面、合成身分、AI-versus-AI 動態,以及作為正在成形之學科的 AI 保證的形狀。
