第 11 章 — 可觀測性、日誌與事件回應
《LLM Primer VII:AI 安全》章節走讀的第十一篇。這一章把日誌、告警與事件回應當作那個把架構防禦轉成營運者能真正運行之系統的層。
這一章為什麼存在
結構對了、卻沒可見度的系統,會無聲地失敗。第 11 章走 LLM 系統的可觀測性層 — 該記錄什麼、如何偵測濫用與異常、如何在不製造雜訊的情況下告警、出事時如何跑一份事件回應 playbook,以及如何從已發生之事中學習。一般紀律從別處的作業工程轉移過來,再加上 LLM 專屬的延伸:機率輸出意味著重現事件所需擷取的狀態比決定性系統更多;自 2024 年起發展的 OpenTelemetry GenAI 語意慣例,給了這個狀態的廠商中立詞彙。
11.1 該記錄什麼是政策決定,不是預設
記太少,團隊就查不到事情。記太多,會製造合規、成本與隱私問題,遲早會被迫縮減。可辯護的立場是:支援團隊已辨識的作業用例所需之最小量,以能支援每一個用例的結構化形式儲存。用途通常包括對濫用或異常的即時告警、對事件的事後調查、容量規劃與成本分析、合規報告,以及對模型行為的持續評估。每個用途對 schema 有不同要求;為一個目的設計的日誌對其他目的是不夠的。OpenTelemetry GenAI 語意慣例為 LLM 呼叫定義了 span 與屬性 — 模型名稱、供應商、請求參數、prompt 內容、回應內容、token 數、延遲、成本 — 讓下游工具能解析同一形狀的遙測,不論具體 SDK。Langfuse、Helicone、Arize Phoenix、Datadog LLM Observability 全都消費這個形狀。一筆生產日誌條目通常包括 request ID、已認證的主體、租戶、模型版本與供應商、完整組裝好的 prompt(附有取回脈絡與其來源歸屬)、工具呼叫與其輸出、回應內容、輸入與輸出端的安全分類器分數,以及延遲與 token 帳目。要負責任地儲存這些,得對保存期限、PII 處理與對日誌儲存本身的存取控制表態明確。
11.2 偵測組合特徵、統計與行為訊號
遙測結構化之後,下一個問題是:哪些樣式表示出事了。特徵比對是最便宜的第一線 — 已知的 prompt injection 短語、DAN 式前奏、base64 編碼酬載、以前觀察過的角色扮演佈局。清單建自公開研究、內部紅隊工作與過往事件。特徵抓到已知變體;對手一旦知道哪些短語會被旗標,就會改。統計異常偵測留意偏離基線的訊號:不尋常的 token 分布、非典型的延遲對長度比、拒絕率突升或特定工具呼叫率突升。基線在正常條件下緩慢漂移,在異常條件下驟變。行為樣式偵測即使個別請求不明顯惡意也能匹配濫用輪廓 — 單一主體對同一受限請求發出數千個換句話說的變體、把合法內容結合特定後綴的請求爆量、逐使用者回應分布的緩慢漂移。偵測只有導致營運者會回應的告警才有用。分類法通常分成關鍵(規模化的持續濫用,call on-call 工程師)、高(有邊界危害的明顯樣式,上班時間通知)、以及中/低(儀表板與週檢)。告警疲勞是失敗模式;嚴謹的嚴重程度紀律就是預防它的做法。
11.3 事件回應是 playbook,不是即興
NIST SP 800-61 Revision 2 給了框架 — 準備、偵測與分析、遏制、根除、復原、事後活動 — 而 LLM 專屬的 playbook 延伸它。準備意味著 runbook、on-call 輪值、以及對相關工具的存取,在事件之前就存在。偵測與分析,是 11.1 節可觀測性的回報之處。LLM 事件的遏制,可能是翻一個 feature flag 停用一個工具、降級到較保守的模型版本、對特定主體或租戶收緊速率限制,或把流量繞到替代堆疊。根除依事件類型而定:jailbreak 可能需要加上一條過濾規則、被入侵的 RAG 文件可能需要從索引中移除、洩漏的憑證可能需要輪替。復原是系統回到正常、遏制被反轉、根除被驗證的時候。事後活動,是模型專屬工作集中之處:如可能就重現行為、刻畫故障的邊界、決定該事件是否反映出關於模型該如何被使用的某件事、把結果餵回評估集,以在部署前抓到未來的迴歸。在非零溫度採樣下重現不總是可能,但目標是定義出不想要的行為何時發生。
第 11 章鋪陳出來的東西
第 12 章以身分與存取層收束第四部 — 誰被允許以何種條件與系統互動、以及如何在各元件間結構化執行。傳統紀律適用:以 API 金鑰、OAuth、mTLS 認證;以 RBAC 與 ABAC 授權;多租戶隔離;速率限制與配額;企業治理疊加層。LLM 專屬的延伸,涉及模型作為主體 — 一個代使用者行動的 agent 有自己的身分與權限 — 工具呼叫的能力 token 的角色,以及多租戶 LLM 平台必須支援的逐租戶模型行為組態。第 13 章接著以監管地景開啟第五部,本書所發展的技術控制在此得對映到 AI Act、GDPR、美國各州法律,以及圍繞其上的框架。
下一篇 — 第 12 章:存取控制與身分。認證、RBAC 對比 ABAC、多租戶隔離、速率限制,以及讓 LLM 系統能在受監管環境中被使用的企業治理疊加層。
