第 7 章 — 幻覺與可靠性
《LLM Primer VII:AI 安全》章節走讀的第七篇。這一章把可靠性當作一項安全屬性來處理 — 因為每當後果依賴於正確性時,一份自信而錯誤的輸出就是安全問題。
這一章為什麼存在
幻覺(hallucination)原本是自然語言生成領域的用語,指含有不被其來源支持之資訊的輸出。套用到 LLM 上,這個現象可以有用地分成兩個意義:事實性失敗 — 模型與已確立的事實相牴觸;以及忠實性失敗 — 模型偏離使用者指令或提供的脈絡。兩者都重要,也都有具體的機制。Ji 等人 2023 年 ACM Computing Surveys 的綜述與 Huang 等人同年的分類,給了這個領域詞彙。這一章把可靠性當作一等安全屬性看待,因為對模型輸出採取行動的系統,只有輸出正確時才安全 — 而模型沒有內建機制能知道它不知道什麼時候。
7.1 幻覺有機制,不是心情
語言模型透過從訓練目標放上機率質量的分布裡取樣來預測 token。這個分布由訓練語料裡的頻率、模型的歸納偏誤、以及後續施加的任何對齊訓練所塑形。這些機制沒有一個像資料庫查詢那樣選出事實正確性。事實性失敗發生在模型主張某件被世界反駁的事 — 錯誤的日期、捏造的引用、不存在的函式簽章。忠實性失敗發生在模型的輸出偏離使用者意圖或提供的脈絡 — 回答了略為不同的問題、忽略使用者要求摘要的段落中的某些部分、在長回應中前後推理不一致。兩個類別重疊,但需要不同的診斷。機制包括在長生成中把流暢換成準確的下一 token 動態、訓練資料分布中對冷門事實的代表性不足、勸阻說「我不知道」的對齊訓練,以及把模型推向似真而非真實的 prompt 樣式。理解機制,是讓緩解變得針對性而非表演性的關鍵。
7.2 自信不等於正確
一個被校準的機率系統,其陳述的信心與其準確率是匹配的:它說 80% 的時候,在大樣本裡它有 80% 是對的。Guo 等人 2017 年 ICML 的論文《On Calibration of Modern Neural Networks》回報了一個顯著的結果 — 現代神經網路系統性地過度自信。一個說 80% 的模型可能只有 65% 對;一個說 99% 的可能只有 88% 對。機制是 cross-entropy 目標,它獎勵把質量放在正確類別上,卻不懲罰過度自信。更大、更有表達力的模型會更緊地擬合訓練資料,在表面上像訓練資料的測試樣本上產生更銳利的分布。對 LLM 來說,問題更明顯,因為輸出是 token 序列、對齊訓練會以能移動機率卻不移動準確率的方式重塑分布,而使用者會把一句自信的話讀成模型知道自己在說什麼的證據。信心與正確性之間的落差,就是為什麼可靠性工程不能只信任模型自己的訊號。
7.3 校準與混合式驗證是作業上的修法
校準技術分成訓練時與推論時。Temperature scaling — Guo 等人在同一篇 2017 年的論文提出 — 是標準做法:訓練後調整一個單一純量,把 softmax 前的 logit 除以它,直到在保留集上校準誤差最小。預測不變;機率會變。口語化信心 — 請模型在答案旁一併輸出信心估計 — 自 2022 年起有人研究,某種程度上有用,但模型陳述的信心本身也是受同樣分布壓力影響的語言 token。自洽採樣生成多個回應並投票;一致性與正確性的相關性比任何單一回應的機率更好。混合式架構做更多工作。作為可靠性技術的 RAG,一直是最穩定有效的一種 — Vectara 的 HHEM 排行榜追蹤到,妥善組態的 RAG 系統在事實摘要上的幻覺率低於 1%,而裸生成在同樣任務上超過 5%。結構化驗證管線把輸出送過第二個模型,對照來源文件做事實檢查。對高風險輸出而言,人工介入審查仍是最強的防禦,但要注意此領域已命名的兩種失敗模式:規模化下的橡皮圖章式審查;以及審查者缺乏來源材料以驗證模型宣稱的「無脈絡審查」。
第 7 章鋪陳出來的東西
第 8 章從偶發的故障模式轉向蓄意的:把模型當作目標,構造出設計來把輸出操縱到營運者不打算的方向的輸入的對抗性攻擊。這一章走過從 Goodfellow 2014 年 FGSM 到 NLP 特定工作 — HotFlip、TextFooler、BERT-ATTACK — 一路到 Wallace 等人的通用對抗性觸發詞工作,以及第 4 章已提及的 Zou 等人的 universal suffix 工作。它接著走過對 API 的黑盒攻擊與 model stealing,從 Tramèr 2016 年 USENIX 的論文到 Carlini 2024 年 ICML 抽取生產嵌入投影層的論文。第 9 章以供應鏈收束第三部:後門模型、safetensors 對比 pickle、Sigstore 簽章,以及漂移監控。
下一篇 — 第 8 章:對模型的對抗性攻擊。在離散輸入空間裡的梯度攻擊、透過 API 的黑盒攻擊,以及作為機密性加安全性關切的 model stealing。
