第 2 章 — LLM 系統的威脅建模

《LLM Primer VII:AI 安全》章節走讀的第二篇。這一章把 Shostack 的四個問題、STRIDE、PASTA 與 MITRE ATLAS 套用到一個系統上,那個系統最強大的元件會把所有輸入都當作可能指令來讀。

這一章為什麼存在

第 1 章主張 AI 安全在結構上是不同的。第 2 章把這個差異化成可操作的形狀。Adam Shostack 的四個問題 — 我們在弄什麼、可能出什麼錯、我們要怎麼辦、我們有沒有做得好 — 對任何系統都是一樣的,但當被討論的系統包含 prompt 組裝邏輯、檢索管線、工具註冊表、以及一個把取回內容當作與開發者指令對等地位的機率函數時,回答這些問題的圖、資產盤點與對手目錄就會不同。這一章走過各框架 — STRIDE、PASTA、MITRE ATLAS、NIST AI 100-2 — 並產出後面各章會反覆回頭參照的那份 LLM 威脅模型的工作範本。

一句話:LLM 系統的威脅模型跟其他任何系統是同一門紀律,但它得先從一張圖開始 — 這張圖必須把 prompt 組裝、檢索、工具、輸出處理這些元件當作各自獨立的存在畫出來,因為「一個標著 LLM 的方框」把大多數在資安上有意義的結構都藏起來了。

2.1 框架可以適配,圖不能偷懶

STRIDE — 冒充、竄改、否認、資訊揭露、阻斷服務、權限提升 — 對映到 LLM 系統上竟然出奇地合適。冒充變成對 API 的身分攻擊或使用者假冒。竄改變成 prompt injection、訓練資料中毒、以及對檢索索引的操縱。否認變成關於「是誰送了哪個 prompt、又是誰產出了哪份輸出」的爭議。資訊揭露變成訓練資料抽取、系統 prompt 外洩、跨租戶暴露。阻斷服務變成 OWASP 的 LLM10,靠昂貴 prompt 與 token 洪水造成的無界消耗。權限提升變成 tool-use 邊界 — 誘導模型呼叫特權工具的使用者,就繼承了該工具的特權。PASTA 為已經在做紅隊工作的團隊,再疊上商業脈絡與對手模擬。兩個框架都預設有一張把監控問題所依賴之各元件分開的資料流圖。對 LLM 系統來說,這張圖永遠應該把 prompt 組裝邏輯、檢索管線、工具註冊表、模型呼叫、輸出處理路徑、以及日誌路徑分開。

2.2 那些不會出現在傳統盤點裡的資產

威脅模型的品質只到它的資產盤點的品質為止。LLM 系統引入了對過去在傳統應用上做過工作的團隊而言陌生的類別。模型本身有幾項子資產 — 權重(一個多 GB 的二進位檔案,代表可觀的訓練投資)、被文件化的行為(系統 prompt、安全政策、對齊訓練)、以及聲譽(公開失敗會獨立於任何技術上的破口,對產品造成損害)。資料涵蓋訓練資料、微調資料、檢索語料、使用者輸入、以及輸出;每一項都有自己的機密性、完整性、可用性需求。prompt 本身現在也是資產 — 許多產品的智慧財產就活在一個花上數月精修的系統 prompt 裡,OWASP 2025 年的清單也把系統 prompt 外洩明確列為 LLM07。基礎設施涵蓋推論堆疊、向量儲存、工具介面,以及把它們綁在一起的憑證。日誌是資產,因為它們是鑑識紀錄;而二階資產 — 模型聲譽、監管地位、客戶信任 — 依賴於一階資產能撐住與流量的接觸。

2.3 對手有具體的動機

對任何東西都同等防禦的威脅模型,對任何東西都不防禦。對手盤點必須具體。好奇的使用者會探測系統看它會做什麼 — 他們使用來自社群媒體的技巧、量很大、每次事件的個別衝擊小,但對系統表面安全性的累積效應很顯著。惡意使用者意圖具體的傷害 — 抽取系統應拒絕的內容、竊取其他使用者的資料或系統 prompt、透過草擬的 phishing 或生成的惡意軟體來拿系統攻擊第三方。競爭者抽取模型(第 8 章)或系統 prompt 以降低自己的開發成本。內部人員從信任邊界內側操作。國家級行為者把模型層面的攻擊與更廣的手法組合起來,他們的目標通常是組織而非模型本身。自動化 agent — 它們自己就是 LLM,有時被其他對手驅動 — 是最新的一類,也是第 17 章要處理的那一類。每一類對手有不同的能力、不同的動機、不同的偵測輪廓,而抬高對某一類成本的緩解,對另一類可能毫無影響。

值得記住:在以 API 為基礎的 LLM 部署裡,資安團隊稱之為「應用邏輯」的很大一部分 — 也就是模型的行為 — 坐落在團隊無法檢視的契約邊界另一側。威脅模型必須承認這種不對稱,而不是假裝模型只是另一個元件。

第 2 章鋪陳出來的東西

這裡發展出來的範本 — 一頁的系統描述、附有信任邊界的資料流圖、資產盤點、對手目錄、按 STRIDE 分類的威脅列舉、緩解對映、剩餘風險登記表 — 就是本書其餘部分填入內容的框架。第 3 章把資料這個資產類別展開成它完整的結構 — 訓練資料的風險、記憶與抽取、敏感輸入的處理、加密與保存期限。第 4 章接手 prompt injection,STRIDE 的「竄改」類別早已將其命名為對 prompt 組裝元件的主要威脅。第 5、6 章在輸入、輸出與 RAG 層面發展 prompt injection 的緩解。後面的章節會再回到同一份範本 — 第 11 章講可觀測性、第 12 章講身分 — 但這裡引入的資產盤點與對手目錄,正是那些章節要延伸的基底。

下一篇 — 第 3 章:資料安全與隱私。訓練資料的風險、記憶與抽取、Samsung 與 Garante 事件,以及 LLM 系統的資料安全所要求的加密、隔離、保存期限的紀律。

想看完整的全貌?書中章節收錄了可執行的資料流圖範例、給一個由 RAG 支援的客服助理的逐步威脅登記表、完整的 STRIDE 與 PASTA 對映表,以及這篇文章只能摘要帶過的「In Plain English」側欄。在 Amazon 查看 LLM Primer VII →