第 1 章 — AI 安全為什麼不同
《LLM Primer VII:AI 安全》章節走讀的第一篇。這一章的主張是:AI 安全不是把「ML」形容詞掛在傳統資安前面 — 子層本身變了,後面每一章都從這個變化開展出來。
這一章為什麼存在
三十年來,資安工程建立在一組穩定的地基上:程式碼與資料是不同的東西、漏洞是規格與實際行為之間的落差、而修補程式把落差關起來。大型語言模型以一種很具體的方式打破了這個地基。要防禦的行為並不編碼在原始程式碼裡,而是編碼在數十億個學到的權重裡,並且被拿去執行在一串把可信指令與不可信內容混在同一條字串裡的輸入之上。所謂「漏洞」常常不是 bug — 而是模型在設計者沒有預料到的情境下,精準地做出它被訓練成要做的事。「模型太樂於幫忙」沒有修補程式可以打。有的只是重新設計、重新訓練,或再加一層容器化。這一章把塑造後面一切的結構性差異命名出來。
1.1 子層變了
傳統應用資安之所以行得通,是因為行為以程式碼指定、缺陷可以被定位。SQL injection 有結構性的修法 — 參數化查詢 — 因為 query 與 parameter 之間有語法上的分界。語言模型沒有這種規格。它有的是一個訓練目標與一組權重分布,而它在任何特定輸入上的行為是湧現的。當模型拒絕某個措辭卻順從另一個措辭時,沒有哪一行可以修。資安問題從「這條程式碼路徑裡有沒有 bug」變成「這個系統的能力範圍是什麼、在什麼條件下這個能力會變得危險」。傳統資安也把決定性當作基準;在這裡基準是機率的。一個在一千個測試案例上都成功的安全過濾器,在第一千零一個案例上可能失敗,因為採樣走了另一條路徑。防禦者用分布與信賴區間推理,而不是用不可達性的證明。OWASP 在 2025 年修訂的 LLM 應用 Top 10 — 把 prompt injection 列為 LLM01、無界消耗列為 LLM10 — 是嘗試命名這一新層的一種做法,但它是既有 web 應用地板之上再多蓋的一層地板,不是替代品。
1.2 攻擊面變寬了
整合了 LLM 的應用引入了以前不存在的表面。prompt 本身是開發者指令、取回的脈絡、使用者輸入與工具輸出的串接 — 全都是模型讀進去、卻沒有原生信任邊界的 token。使用者只要能影響任何一部分,就與開發者共用同一條通道。檢索路徑是第二個新表面:每一份被索引的文件都變成間接輸入,而任何能影響進入索引之內容的人,就能影響模型看到什麼。Greshake 等人在 2023 年把這稱為間接 prompt injection,並證明這條通道既真實又難以關閉。tool-use 邊界是第三個:每一個授予模型的工具都是一項權限,其後果會離開回應文字並抵達真實系統。訓練管線是第四個,因為任何被用來更新模型的資料都變成信任邊界的一部分。模型檔案本身是第五個 — 大型二進位檔案的反序列化,如 CVE-2024-3568 所示,可以在載入時執行程式碼。輸出處理是第六個,因為模型生成、繼而轉發到下游的內容,只是換個名字的不可信輸入。MITRE ATLAS 對這片變寬的表面上的戰術與技術做了編目。
1.3 模型正在變成基礎設施
2012 到 2022 年間,模型是應用裡的一項功能。推薦系統壞了,就是推薦變得糟糕。大型語言模型 — 尤其加上工具使用之後 — 改變了這件事。模型愈來愈成為編排層 — 讀文件、決定要呼叫哪個工具、草擬訊息、生成另一個元件會執行的程式碼。它常常是系統中最強大的元件,也是最容易被塑形的一個,由任何人都能寫出的自然語言輸入所驅動。傳統資料庫有 query 語言與存取控制;作為編排者的 LLM 沒有這些內在約束,只有周圍應用加上去的。這就是「基礎設施」在這裡的意思:一旦被攻破就會蔓延擴散、承擔重量的元件。基礎設施會有明確的 SLO、完整的日誌、變更控制與事件回應。到 2024、2025 年為止,絕大多數 LLM 部署還沒到那個成熟度。基礎設施這個框架也延伸到採購:當一個組織把託管的 LLM 服務嵌進自己的堆疊裡,供應商的模型更新紀律、評估閘門、揭露實務,就變成買方風險輪廓的一部分。
第 1 章鋪陳出來的東西
本書其餘部分,就是對本章命名的結構性轉變的回應。第 2 章帶入為 LLM 系統改編過的威脅建模 — 把 STRIDE 與 PASTA 框架轉向那些不會出現在傳統圖上的資產、對手與攻擊面。第 3 章走過資料維度的完整生命週期。第 4–6 章走 prompt 與互動的內部:injection、過濾、RAG。第 7–9 章走模型這一層。第 10–12 章走圍繞其上的系統架構。第 13–15 章加上監管、負責任 AI 與組織這一圈周界。第 16 章把微調視為它自己的一塊資安表面,第 17 章看那些還在成形的威脅。整條弧線建立在本章確立的前提之上:子層變了,學科也得跟著變。
下一篇 — 第 2 章:LLM 系統的威脅建模。Shostack 的四個問題、對 LLM 資產套用 STRIDE 與 PASTA,以及作為這片新表面所吸引之對手戰術目錄的 MITRE ATLAS。
