第 8 章 — 性能、部署与成本优化
《LLM Primer V: Building Real-World LLM Applications》 章节走读的最后一篇。这一章把生产 LLM 的经济学当分层学科来做 —— 最便宜的调用是那次没发生的调用,再往下每一层都是让下一次调用变便宜的那一层。
这一章为什么存在
每一项值得拥有的生产属性,都要以 token、延迟或算力买单。冗余多一次供应商调用。校验多一次分类器 pass。护栏在每一个 prompt 上多花 token。追踪多存储和导出带宽。人工审核多小时。这些没有一个是免费的,而系统到了生产阶段,压力不是往上加能力,而是把团队已经有的能力以业务愿意继续付的价格撑住。第 8 章走的是这份成本所在的那些层,以及在不折损质量的前提下把它降下来的技巧。框架很有意识:一项技术如果削掉一个百分点的成本却往错误率上加一个百分点,不是赢面,而这门学科要求在能推动用户可见的质量和可靠性上有意识地花,并拒绝在其他地方花。
8.1 语义缓存 —— 那次没发生的调用
语义缓存把一个重复的问题变成一个存下来的答案,即使措辞变了也认得出。机制是把进来的请求做 embedding,在按租户和角色分桶里找近邻,如果一个近邻在相似度阈值之内且在保鲜窗口之内,就把存下来的答案发出去。做对了,它把整整一次模型调用从请求路径里去掉;做错了,它把另一个租户的答案发给了当前用户,或者发出昨晚政策已经变了的那份答案。正确性靠复合键 —— 租户加角色加模型加 prompt 版本,不只是 query 的 embedding —— 也靠定期的刷新扫捕捉漂移。命中率单看是错的目标;正确的目标是在被校验过为正确答案上的成本加权命中率 —— 因为便宜请求命中率高、贵请求命中率低,加起来的价值不如反过来。
8.2 限流与动态模型路由
按请求限流对 LLM 流量是错的形状,因为请求成本在机群上有两个数量级的差别。用 token 桶和带 “两阶段预留-结算” 的美元预算取代按请求计数;分层预算 —— 用户、租户、应用、全局 —— 在每一层封住爆炸半径。路由再针对每一次请求挑 “刚好够用” 的最小模型。一个分类器 —— 容易情况下用启发式,难一点用一次便宜的 LLM 调用 —— 给请求打标签,派到成本分级的机群里,并带一条经过校验的回退链:SLM 先上,校验失败或置信度低就走中层,再回退就走前沿,最下面是确定性默认值。路由器本身也带着信任层面的含义 —— 它是一个攻击者可能试图操纵的决策面 —— 而它属于前面几章搭起的那个可追踪、可评估、有护栏的信封里面。
8.3 推理服务器内部
应用之下,推理服务器是最后一个数量级的成本节省所在。PagedAttention 把 KV 缓存当作虚拟内存来处理,让一个混着长短请求的批次不再为最长的那一条浪费连续内存。连续批处理让 GPU 在长度不齐的请求上一直忙,把新请求接进正在跑的批次,而不是等所有请求都跑完。推测解码用一个小的草稿模型猜 token、让目标模型并行验证,草稿猜对的那部分能翻倍有效吞吐。前缀缓存把共享静态 prompt 的 KV 状态跨用户存下来,让 system prompt 付一次钱、然后被反复用。量化在多数任务上不会有意义地影响质量,却能降低权重精度。LoRA 服务让一个基座模型以接近基座的成本服务许多微调变体。蒸馏把模型本身缩小。这些优化在彼此之上叠起来,累计效应就是让主权自托管部署在 2026 年在财务上变得可行的那部分。
第 8 章合上了什么,以及后面会有什么
第 8 章合上了第五卷。本书搭起的这份单应用工程 —— 那层确定性外壳、模型调用、检索管道、agent 循环、评估套件、追踪层、安全姿态、部署经济学 —— 是后面那一步的组合单位。第六卷 —— 《扩展 AI 系统》(Scaling AI Systems)—— 把这个单位当作已知,再问下一组问题:当一家组织在共享的推理集群上跑一百个这样的系统会发生什么、机群级的策略引擎怎么跨系统授权、当负载是突发性的、底层硬件是稀缺的时候容量规划怎么变、以及本章勾勒的推理服务器侧优化在成为承重面时如何变成一门深工程。第六卷会走机制;第五卷立好了机制会用到的词汇。
第五卷到这里结束。系列的下一卷 —— LLM Primer VI — 扩展 AI 系统(Scaling AI Systems) —— 会接手第 8 章只勾勒了一下的推理与基础设施工程,把本卷搭起的这个 “应用形状的单位” 当作机群规模组合的基本元。
