第 17 章 — 未來威脅與新興防禦
《LLM Primer VII:AI 安全》章節走讀的第十七篇,也是最終篇。這一章越過已經成熟到能寫下的紀律,命名那些社群仍在弄清楚的紀律 — 自主 agent、多模態攻擊面、合成身分,以及 2026 年中的 AI-versus-AI 軍備競賽。
這一章為什麼存在
第 1 到 16 章走過已經成熟到能寫下的資安紀律。第 17 章走那些還在成形的。對比很要緊。前面章節回答的是「我們知道怎麼做這件事,問題在你的組織會不會做」。這一章回答的是「社群仍在弄清楚什麼樣才算好,而明年的答案可能跟今年不同」。兩種工作都是真的,兩種都屬於工程師的儲備。第一種讓系統今天安全。第二種讓它兩年後仍安全。
17.1 自主 agent 把爆炸半徑乘上工具預算
自主 agent 是一個系統,其中一個語言模型被賦予一個目標、一組工具、以及不需逐步人工審查即可依序呼叫這些工具的權威。模型決定下一步做什麼;工具執行;結果回饋;迴圈繼續,直到目標達成或停止條件觸發。AutoGPT 與 BabyAGI 在 2023 年初公開原型化了此樣式;LangChain 把它形式化;Anthropic 的 Claude computer use(2024 年 10 月)與 OpenAI 的 Operator(2025 年 1 月)把它變成把模型對瀏覽器或桌面授權的商業產品。資安屬性在種類上與單輪生成不同。產出一次回應的模型,有寫應用可能會採取行動之文字的權威。操作瀏覽器的模型,在最壞情況下,擁有做瀏覽器所能做之任何事的權威,而無人工審查點。前面章節組合起來的緩解 — 工具 allow-list、範圍窄的能力 token、每工具在模型之外做政策檢查、高衝擊動作的人工確認、硬性步數上限、預算上限 — 在這裡以加重的強調適用。Agent 的自主性是在任何特定事件之前做出的設計決策,而設計決定任何入侵的天花板。
17.2 多模態表面把注入通道以數量級加寬
純文字模型讀 tokeniser 認得的東西。視覺-語言模型讀影像,其像素層級頻寬超過文字所能承載的一切,而周圍應用通常無法以檢查字串的方式檢查影像所含的內容。Schlarmann 與 Hein 2023 年的論文《On the Adversarial Robustness of Multi-Modal Foundation Models》顯示,對影像做人眼難以察覺的擾動,能實質改變 VLM 的文字輸出 — 經典的對抗性範例攻擊被適配到新模態。嵌在影像中的文字(截圖、迷因、文件掃描)是另一個表面:影像中被 OCR 偵測到的指令,可以透過視覺通道成為間接 prompt injection。音訊-語言模型接受口語輸入;對抗性音訊擾動 — 有些人耳聽不到 — 已被示範。影片把兩個通道加在一起。每一種模態都是新的注入表面,而防禦工作才剛開始追上:在 VLM 前把偵測到 OCR 文字的圖片旗標或剝除的掃描器;多模態輸入的來源歸屬標籤;把視覺與音訊通道當作與文字同等可疑對待的對齊訓練;以及模態感知的輸出過濾。前面章節的樣式 — 不要讓信任邊界塌陷成單一輸入 — 延伸到前面章節不必命名的模態上。
17.3 合成身分與 AI-versus-AI 重塑周界
前兩節把模型當作目標處理。第三節把它當作工具。輸出與真實人類產出無法區分的生成模型,會侵蝕任何仰賴真實性可被偵測之資安機制。從幾分鐘語音生成的合成語音,對認得執行長聲音之財務員工進行 vishing。Deepfake 影片捏造公眾人物的畫面。合成文字在商業郵件詐騙中模仿特定人的寫作。到 2026 年,這些都不奇特;工具是商品,每次生成的成本是分幣。防禦回應是來源歸屬基礎設施 — C2PA 的內容憑證、浮水印研究、對真實媒體做密碼學簽章 — 以及在依賴通道真實性做高風險決策之處提升身分驗證。更廣的防禦軌跡是 AI-versus-AI:建立在語言模型上的資安系統,被部署來防禦由其他語言模型所生成或放大之攻擊。自動化紅隊 — NVIDIA Garak、Microsoft PyRIT — 在攻擊者側以模型替代人。Guardrail、安全分類器與異常偵測在防禦者側以模型替代人。軍備競賽令人不安,但這是作業現實。AI 保證 — 這個以定義好的信心水準顯示 AI 系統符合其要求的新興學科 — 是那個試著給軍備競賽穩固立足點的東西 — 持續評估基礎設施、第三方認證、事件揭露規範,以及 ISO/IEC 42001 與 NIST AI RMF 社群正在延伸的標準工作。
系列在這裡收束
第 17 章是《LLM Primer VII》的最後一章,也是整個《LLM Primer》系列的最後一章。第一卷從注意力機制向外介紹了基於 transformer 的語言模型架構。第二卷涵蓋了訓練、對齊,以及打造一個模型的實務生命週期。第三卷檢視了檢索增強生成與周邊的資料管線。第四卷看的是評估、工具與圍繞生產環境模型的工程實務。第五卷走過本章現在從對抗性面向處理的 agent 與 tool-use 樣式。第六卷涵蓋在組織規模下的推論基礎設施與擴展樣式。而第七卷,這一卷,一直在講如何防禦這一切。這七卷是作為一張連結的地圖被寫下來的。讀者若在未先造訪先前各卷就抵達這一章,鼓勵你回頭走一趟,因為本書中許多資安宣稱,建立在那些卷所確立之架構細節上。
姊妹卷《Physical AI》把這張地圖延伸到具身系統 — 機器人、自駕車輛,以及那些同一套機率子層現在控制致動器並與人類共享物理空間的實體世界部署。這一卷的資安關切,以修改後的形式帶過去:透過視覺通道的 prompt injection,變成一個伸手可及一公尺的安全關切;工具邊界,現在是一具馬達控制器;對抗性輸入,是被放在運行環境裡的物件。這七卷的紀律是那項工作的前置條件,而不是替代品,而從 transformer 注意力、經基礎設施、到資安的這條弧線,延續到那個賭注變得可觸的物理世界。
感謝你讀這場走讀。書本身承載了完整的可執行範例、可執行程式碼、事件 playbook,以及比這些文章有空間去容納之更長篇幅的「In Plain English」側欄。如果其中有任何一項對你有用,最高影響力的下一步,是把這個框架套用到你的組織正在防禦的具體系統上 — 第 2 章的威脅模型、第 4 與 5 章的分層緩解、第 10 章的架構樣式、第 11 章的可觀測性、以及第 15 章的組織紀律,是承重的部分。
