第 11 章 — 可观测性、日志与事件响应
《LLM Primer VII: AI Security》章节走读的第十一篇。这一章把日志、告警和事件响应当作那层"把架构性防御变成运营者真的能跑起来的系统"的层。
这一章为什么存在
一个结构正确但没有可见度的系统,失败起来看不见。第 11 章走一遍 LLM 系统的可观测性 —— 记什么、怎么检测滥用和异常、怎么在不出噪声的前提下告警、出事之后怎么跑事件响应手册、以及怎么从发生过的事里学。总的学科从别处的运营工程迁移过来,带上 LLM 特有的延伸:概率输出意味着复现一次事件所需捕获的状态比确定性系统更多;自 2024 年起在演进的 OpenTelemetry GenAI 语义约定,给这份状态提供了厂商中立的词汇。
11.1 记什么是策略决定,不是默认
记得太少,团队无法调查。记得太多,合规、成本和隐私的问题最终会逼你砍。站得住的立场是:满足团队已识别的运营用例的最小集,以支持这些用例的结构化形式记录。用途通常包括:对滥用或异常的实时告警、事件的事后调查、容量规划与成本分析、合规报告,以及对模型行为的持续评估。每种用途对 schema 有不同要求;为一种设计的日志对别的用途都不够用。OpenTelemetry GenAI 语义约定为 LLM 调用定义了 span 和属性 —— 模型名、提供商、请求参数、prompt 内容、响应内容、token 数、延迟、成本 —— 让下游工具无论用的是哪个具体 SDK,都能解析同一份遥测数据。Langfuse、Helicone、Arize Phoenix 和 Datadog LLM Observability 都消费这个形状。一条生产日志通常包括请求 ID、认证过的主体、租户、模型版本和提供商、完整组装好的 prompt(带检索上下文及其出处)、工具调用及其输出、响应内容、输入和输出侧的安全分类器分数、以及延迟和 token 记账。负责任地存这些,意味着要明确留存窗口、PII 处理,以及对日志存储本身的访问控制。
11.2 检测由签名、统计和行为三种信号组合而来
一旦遥测数据结构化,下一个问题是:哪些模式意味着有东西不对劲。签名匹配是最便宜的第一道 —— 已知的 prompt injection 短语、DAN 风格的抬头、base64 编码的 payload、以往观察到的角色扮演铺垫。清单来自公开研究、内部红队工作、过往事件。签名捕获已知变体;对手知道哪些短语被标记后就会调整。统计异常检测盯着基线的偏移:异常的 token 分布、异常的"延迟/长度"比、拒绝率或某个具体工具调用率的突增。基线在正常条件下缓慢漂移,在异常条件下急剧移动。行为模式检测在单条请求并不明显恶意时也能识出滥用画像 —— 一个主体发出上千条同一受限请求的改写变体、一次结合了合法内容与某种具体后缀的请求突增、每用户响应分布的缓慢漂移。检测只有能变成运营者会去响应的告警才有用。分类通常区分为严重(大规模在攻,页 on-call)、高(有边界危害的显著模式,工作时间通知)、和中/低(仪表盘和每周复盘)。告警疲劳是失败模式;严格的严重度纪律是防它的关键。
11.3 事件响应是手册,不是即兴
NIST SP 800-61 Revision 2 给了框架 —— 准备、检测与分析、遏制、根除、恢复、事后活动 —— LLM 特有的手册在这个框架上延伸。准备意味着:runbook、on-call 排班、以及对相关工具的访问,在事件发生之前就存在。检测与分析,是 11.1 那份可观测性开始还本的地方。对 LLM 事件的遏制可能意味着翻一个 feature flag 关掉某个工具、降级到一个更保守的模型版本、对某个主体或租户收紧速率限制,或者把流量切到备用栈。根除取决于事件类型:一次 jailbreak 可能要加一条过滤规则,一份被攻的 RAG 文档可能要从索引里移除,一份泄露的凭据可能要轮换。恢复,是遏制被撤销、根除被验证之后,系统回到正常状态的那一步。事后活动是模型特有工作集中的地方:如果能就复现一遍那个行为,刻画失败的边界,决定这次事件是不是揭示了模型的一个特点、进而应改变用它的方式,并把结果喂进评估集,让未来的回归在部署前就被抓住。在非零温度采样下,复现并不总是可能的,但目标是定义那个"不想要的行为在什么时候出现"。
第 11 章为下面铺了什么
第 12 章用身份和访问这一层收上第四部分 —— 谁被允许与系统交互、以什么条件、以及执法如何跨组件构建。传统学科在此适用:用 API key、OAuth 和 mTLS 做认证;用 RBAC 和 ABAC 做授权;多租户隔离;速率限制和配额;企业治理这层叠加。LLM 特有的延伸涉及模型作为主体 —— 一个代表用户行事的智能体有自己的身份和权限 —— 工具调用中能力 token 的角色,以及多租户 LLM 平台必须支持的按租户配置模型行为。第 13 章接着开第五部分的头,讲监管全景,把本书发展出来的技术控制映射到 AI 法案、GDPR、美国州级法律,以及围绕它们的框架。
下一章 — 第 12 章:访问控制与身份。认证、RBAC 对 ABAC、多租户隔离、速率限制,以及让 LLM 系统在受监管环境里能用起来的企业治理这一层。
