第 8 章 — 對模型的對抗性攻擊
《LLM Primer VII:AI 安全》章節走讀的第八篇。這一章追溯對抗性攻擊 — 從 Goodfellow 2014 年的影像分類器工作、經 TextFooler 與 universal suffix,一路到對生產 API 的 model stealing。
這一章為什麼存在
第 4 章把 prompt injection 當作 LLM 系統中對抗性輸入的實務面。第 8 章走底層的研究傳統。Goodfellow、Shlens、Szegedy 2014 年的論文《Explaining and Harnessing Adversarial Examples》主張:對抗性輸入不是病理,而是模型在高維輸入空間中近似線性行為的後果。這個框架透過解決離散輸入問題的工作 — HotFlip、TextFooler、BERT-ATTACK — 帶入了 NLP,又透過通用對抗性觸發詞、以及較新的 Zou 等人在閉源 API 上遷移的通用後綴工作,帶入了 LLM。與對抗性輸入並列的是 model stealing,一種機密性攻擊,而抽出來的替身可以成為對抗性輸入的發射台。
8.1 從 FGSM 到通用後綴的譜系
Goodfellow 的 Fast Gradient Sign Method — 把每個輸入維度沿損失梯度符號擾動一個 epsilon — 是連續輸入的正宗白盒攻擊。文字抗拒這個做法,因為 token 是離散的:沿著 embedding 的梯度移動就離開了 token 空間。NLP 對抗性範例的文獻,大多是在找好的離散近似。HotFlip(Ebrahimi 等人,ACL 2018)用單一字元翻轉,選使損失變化最大的那個。TextFooler(Jin 等人,AAAI 2020)在語意相似度約束下,用 beam search 替換同義詞。BERT-ATTACK 用遮罩語言模型提出候選替換。Wallace 等人的通用對抗性觸發詞找到了短的 token 序列,前綴接到任意輸入前面,就能誘出針對性的錯誤行為。Zou 等人 2023 年的《Universal and Transferable Adversarial Attacks on Aligned Language Models》顯示,從開源模型上梯度優化出來的後綴,可以遷移到透過 API 查詢的閉源模型上 — 理論上的白盒與黑盒差別,在實務中崩解,因為攻擊者對足夠多的替身模型有白盒存取,足以生成可遷移的攻擊。這種可遷移性,是通用後綴工作為什麼對那些以為自己的 API 不透明就有保護的生產部署重要的原因。
8.2 黑盒攻擊比 API 預算暗示的還便宜
要緊的商業 LLM 不開放權重。相關的威脅模型是黑盒:攻擊者付費使用 API、送出查詢、觀察回應、修正。文獻在這個設定下顯示了出人意料強的攻擊。對一個 prompt 各種變體的暴力搜尋,處理小型攻擊面 — 短的對抗性後綴、單字替換 — 是實務 jailbreak 的主力。查詢高效的方法,把模型自己的輸出訊號當作攻擊者無法直接計算之梯度的代理:如果一個 token 改變時回應可偵測地位移,攻擊者就能爬向目標。自動化 jailbreak 生成 — PAIR(Chao 等人 2023)、TAP(Mehrotra 等人 2023) — 用一個攻擊者 LLM 依照從目標的回饋提出修正。經濟學重要。查詢成本是幾分錢;攻擊者發展出一個能用的 jailbreak 的總花費常常在五十美元以下,而產出的攻擊能在使用者、對話、有時甚至跨模型版本之間泛化。這是與「有學術 GPU 叢集的人」非常不同的攻擊者輪廓。
8.3 Model stealing 把黑盒變成實質的白盒
Model stealing — 模型抽取 — 這一類的攻擊者目標不是操縱某個特定輸出,而是重建足夠多的目標行為,能把重建品當作替代品使用。Tramèr 等人 2016 年 USENIX Security 的論文《Stealing Machine Learning Models via Prediction APIs》開啟了針對 Amazon Machine Learning、BigML 與類似服務的研究線。Krishna 等人 2020 年 ICLR 的《Thieves on Sesame Street》顯示了對 BERT 類模型的抽取。Carlini 等人 2024 年 ICML 的《Stealing Part of a Production Language Model》透過針對性 API 查詢,對包括 OpenAI 在內的生產模型抽取了嵌入投影層 — 部分抽取,但仍揭露了供應商本不打算釋出的隱藏維度與結構資訊。除了機密性損失之外,安全上的後果是:被抽出來的替身,是對原模型生成可遷移對抗性範例的白盒目標。防禦層是組合式的:以每帳號、每金鑰、每 IP、每租戶為基礎的速率限制;對暗示抽取的查詢模式做異常偵測(均勻分布、系統性 prompt 變體、高熵輸出);以及在邊界的對抗性輸入偵測。浮水印研究的目標是讓被抽取的模型可被偵測,但技術現況仍在演進。
第 8 章鋪陳出來的東西
第 9 章轉向一類比精心構造的輸入對付已知良好模型更根本的風險:在部署之前,透過產生它的供應鏈,對模型本身的攻擊。一個能在訓練資料、訓練與部署之間任一時點的模型權重、或推論時的依賴上動手腳的攻擊者,擁有比任何輸入空間的攻擊者更強的位置。這一章追溯 Gu 等人 2017 年的 BadNets 這條線,一路到它在 LLM 上的轉譯,包括 Anthropic 2024 年的《Sleeper Agents》研究,證明訓練進去的後門能在安全訓練後留下。它走過格式層級的風險 — pickle 反序列化漏洞編目為 CVE-2024-3568 與相鄰條目、safetensors 作為較安全的替代品 — 以及生產 AI 組織已採用的部署管線樣式(模型簽章、雜湊驗證、SLSA、Sigstore),用來關閉這道缺口。
下一篇 — 第 9 章:模型完整性與供應鏈風險。BadNets、Sleeper Agents、pickle 對比 safetensors、給模型檔案的 Sigstore,以及作為部署時完整性之持續對應面的漂移監控。
