LLM Primer VII — 系列導論與索引
《LLM Primer VII:AI 安全》的章節走讀 — 這是系列的完結之卷,LLM Primer 的工程弧線在此落腳於那個決定前面每一卷能否在對手、監管機關、以及機率系統的日常故障模式面前存活下來的學科。
這個系列為什麼存在
在傳統資安裡,程式碼與資料是兩件事。剖析器、跳脫、參數化查詢,全都建立在這個分界之上。到了 LLM 系統裡,承載開發者指令的那條字串,同時也承載使用者輸入、取回的文件、工具回傳的結果,以及模型訓練時看過的任何近似於前述內容的段落。沒有任何一個語法位置能被證明對 transformer 是惰性的,也沒有任何一段子字串能保證被模型讀成資料而非指令。這種結構性的碰撞,就是為什麼 prompt injection、jailbreak 與對抗性攻擊不是等著被修補的實作 bug,而是要被管理的設計後果。LLM 系統的資安學科繼承了傳統資安的詞彙 — 資產、對手、控制、事件 — 卻在下方把地基重蓋。第七卷就是這場重蓋被寫下來的樣子,從威脅模型一路走到監管周界。
我寫給誰看
寫給資安工程師 — 現在手上多了一個上到生產環境的 LLM,想知道既有的 playbook 有哪些還能用。寫給 ML 工程師 — 訓練或微調了這個模型,現在得推理一下誰可能會來攻擊它。寫給平台負責人與 SRE — 你們跑的是推論堆疊,濫用模式一旦飆升,被 page 起來的就是你們。寫給 CISO — 得在 AI 部署上簽字,並且要向董事會、監管單位與稽核員回答:當被討論的元件是輸出機率分布的時候,「安全」是什麼意思。這本書預設讀者對生產工程熟悉,但不預設對抗性 ML 的先備知識;它從第一原理搭起以模型為中心的部分,並在真正相接的地方,把它連回既有的資安學科。
怎麼讀
十七章分成六個部分。第 1–3 章打基礎 — AI 安全為什麼不同、如何為 LLM 系統做威脅建模、以及資料維度在其生命週期各段的樣貌。第 4–6 章走 prompt 與互動這一層:prompt injection、輸入輸出過濾、檢索增強生成。第 7–9 章走模型本身:幻覺作為可靠性故障、對抗性攻擊、模型供應鏈。第 10–12 章走環繞模型的系統架構 — 隔離、可觀測性、存取控制。第 13–15 章走治理周界 — 監管、負責任 AI、承載這門學科的組織。第 16 章把微調視為它自己的一塊資安表面,第 17 章以還在成形的新興威脅收束全書。
十七章走讀
從 5 月 10 日到 5 月 26 日,走讀每天發一章。每篇文章把該章的三個關鍵想法濃縮成大約五分鐘的閱讀;書中該章則承載可執行的範例、程式碼、以及 In Plain English 側欄。
- 5 月 10 日 — 第 1 章 — AI 安全為什麼不同。傳統資安對比以模型為中心的資安;為什麼 LLM 打破了 code/data 分界,並把行為包絡轉成攻擊面。
- 5 月 11 日 — 第 2 章 — LLM 系統的威脅建模。把 STRIDE、PASTA 與 MITRE ATLAS 套用到 LLM 資產、對手與攻擊面上。
- 5 月 12 日 — 第 3 章 — 資料安全與隱私。訓練資料的風險、記憶與抽取、Samsung 與 Garante 事件,以及加密、隔離、保存期限的紀律。
- 5 月 13 日 — 第 4 章 — Prompt Injection 與 Jailbreak。直接與間接 injection、jailbreak 的分類、universal suffix,以及為什麼緩解只能是分層的、而非語法上的。
- 5 月 14 日 — 第 5 章 — 輸入驗證與輸出過濾。分階段的淨化、結構化 prompting、Llama Guard、用 Garak 與 PyRIT 做紅隊,以及誠實的安全指標。
- 5 月 15 日 — 第 6 章 — 檢索增強生成的風險。RAG 裡的信任邊界、惡意文件注入、索引與 embedding 中毒,以及對檢索路徑的監控。
- 5 月 16 日 — 第 7 章 — 幻覺與可靠性。模型為何會編造、校準與 temperature scaling、混合式驗證架構,以及有效的 human-in-the-loop 模式。
- 5 月 17 日 — 第 8 章 — 對模型的對抗性攻擊。從 FGSM 到 TextFooler 再到 universal suffix 的譜系、對 API 的黑盒攻擊,以及作為機密性議題的 model stealing。
- 5 月 18 日 — 第 9 章 — 模型完整性與供應鏈風險。BadNets、Sleeper Agents、pickle 反序列化對比 safetensors、Sigstore,以及對行為漂移的監控。
- 5 月 19 日 — 第 10 章 — 設計安全的 LLM 架構。隔離、多層驗證、OPA 與 Cedar 政策引擎、安全的 API 設計,以及套用到模型呼叫的零信任。
- 5 月 20 日 — 第 11 章 — 可觀測性、日誌與事件回應。用 OpenTelemetry GenAI 慣例決定要記錄什麼、濫用偵測、告警,以及 NIST 形狀的事件處理 playbook。
- 5 月 21 日 — 第 12 章 — 存取控制與身分。OAuth、mTLS、RBAC 對比 ABAC、多租戶隔離、速率限制,以及企業治理疊加層。
- 5 月 22 日 — 第 13 章 — 監管地景。歐盟 AI Act 的分階段適用、GDPR 套用到 AI、可稽核性、model card,以及風險分級架構。
- 5 月 23 日 — 第 14 章 — 偏見、公平性與負責任 AI。偏見的來源、公平性 benchmark 與其極限、安全對比效用的取捨,以及組織的 AI 政策。
- 5 月 24 日 — 第 15 章 — 打造安全的 AI 組織。AI 專屬的資安文化、內部紅隊、供應商風險、持續評估,以及長期的模型維運責任。
- 5 月 25 日 — 第 16 章 — 安全的微調與適配。透過良性資料的對齊侵蝕、蓄意中毒、CI 裡的評估閘門,以及回滾紀律。
- 5 月 26 日 — 第 17 章 — 未來威脅與新興防禦。自主 agent 與 tool-use 的爆炸半徑、多模態攻擊面、合成身分,以及 AI-versus-AI 保證。
關於這本書與這個系列
LLM Primer 系列是下田昌平寫的七卷書,在 Amazon KDP 上出版,並在 ReceiptRoller 的部落格上一章一章讀。這個系列的主張是:用 LLM 建構是一門系統學科,而這門學科最好的學法,是以機制優先的散文一層一層地走過堆疊,而不是用清單。第七卷把這道弧線收攏起來。它是安全這一卷,也是那個用對手的眼光回頭讀其他六卷的一卷 — 第三卷的檢索管線被讀成一條 injection 通道、第六卷的推論堆疊被讀成速率限制的邊界、第二卷的對齊工作被讀成微調的攻擊面。前幾卷說的是「這是它怎麼運作」,這一卷說的是「這是它可以怎樣被弄壞,以及該怎麼辦」。
