第 16 章 — 生产环境的降本策略

《LLM Primer VI: Scaling AI Systems》章节走读的收官篇。那份能复利叠加到只剩上个月账单三分之一到二分之一的一堆正交动作目录。

这一章为什么存在

前两章告诉了团队钱去了哪儿,并给了一份决定该待在 API 对比自建那条线哪一侧的框架。这一章是那些决定落定之后,团队能做的动作目录。这些动作在很大程度上和姿态无关 —— 它们在 API 上省钱、在自建上省钱、在混合安排上省钱 —— 而且它们复利叠加。按序采用它们的团队,在把降本作为焦点努力半年后,常常发现推理账单是原来的三分之一到二分之一。没有哪一个动作是奇技淫巧;所有动作都需要认真的工程;搭建它们的成本相对于它们省下的钱都很小。

16.1 智能模型路由是最大的一根杠杆

生产流量的难度不是均匀的。半数或更多请求简单到用一个比前沿便宜一个数量级的预算档模型就能处理;少一部分才真的需要前沿。什么都往顶上路由的团队,给简单请求多付了 10–20 倍。对的架构是一个路由器,给每个请求分类,再派发到能处理它的最便宜那档。写作时的成本梯度大约是输入 30:1、输出 20:1,前沿(每百万输出 $15–30)对预算档(每百万 $0.10–1)。路由器的选项从"按请求形状(长度、格式、工具调用标记)做启发式"到"用预算档小分类器输出一个档位标签"再到"用历史上哪个模型真的解决了问题的数据训一个学习路由器"。设计约束:便宜、快(100 ms 内、十分之一美分)、可观测(每一次决策连特征和结果一起记)、默认稳妥(不确定时往上路 —— 多路一档的代价是一美元,少路一档的代价是能看得到的质量退化)。

16.2 压缩、批量 API、语义缓存,各自能买回一大片

上下文压缩攻的是第 14 章命名的那份二次方级输入增长。最简单的形式是滚动窗口:保留最近 K 轮的原文,把之前全部用预算档档做成摘要;摘要调用花不到几分钱,把之后每一轮的输入从几千 token 原文压到几百 token 摘要。更精细的压缩器会原文保留某几类(代码、工具输出、用户提供的数据),把其余部分做摘要。异步批量 API 半价可以处理任何没有同步延迟预算的工作负载 —— 隔夜摘要、re-classification、A/B 测试的预生成、embedding 刷新 —— 这一类比团队一开始意识到的更大,而把工作负载迁到批量上的工程量是琐碎的。语义缓存在模型被调用之前就作答:把每一个请求 embed,在过去 request-response 对的向量索引里查,如果相似度过了阈值就返回缓存的响应。两个用户问"退货政策是什么"和"我要怎么退货"命中同一条。FAQ 形状的流量上,30–50% 的命中率是常态,而最便宜的 token 就是根本没生成的那个。

16.3 这些动作是相乘复利,不是相加

拿一个账单已经涨到 $4,000/月、每天 1,000 次查询的 agent 来说。路由:60% 预算、30% 中档、10% 前沿 → 混合成本降到前沿档的 28%,账单掉到 $1,100。压缩:输入膨胀砍半,账单掉到 $770。20% 迁到批量:$720。25% 命中率的语义缓存:$540。从 $4,000 到 $540 —— 86% 缩减 —— 用户看不到任何变化。还有两个动作即使没有自己的一节也值这个位置。Prompt 审计 —— 用新鲜的眼睛读每一份 prompt、删掉任何撑不起它 token 数的东西 —— 通常能在不改变行为的前提下找到 10–20% 的开销可砍。显式的 max_tokens 上限阻止一个只需要 300 token 的应用把回答放到 2,000 token —— 那一次请求近 7 倍付款。心智模型是第四卷那个:每一个请求都有单位成本,工程师的分工是把每一个请求先走过便宜层、只有必要时才够到贵层。

第 16 章的收束

这一卷开篇于自回归瓶颈 —— 那个不可约的事实:LLM 生成是顺序的,那份对并行算术那么擅长的硬件大多数时间是在等内存。之后每一章都是对这个核心事实在栈的不同层做出的回应。硬件章节搭起物理底座。模型层章节把模型缩小。系统层章节从每一个时钟周期里榨出最多有用的工作。Engine 和编排章节把它送进生产。经济学章节讲操作这套系统的团队怎么给它付账。每一层都是对上一层的回应,而大规模跑 LLM 这门学科,就是同一批人 —— 或者至少能用同一份词汇说话的人 —— 把所有层整合起来的手艺。

这本书到这里就结束了。这套系列在 第七卷 — AI 安全 里继续,把这一卷的生产工程学科延伸到威胁建模、护栏、模型生成代码的沙箱、prompt 注入缓解、输出过滤,以及正在重塑上面这一切必须以何种方式部署的监管。这一卷搭起来的基础设施 —— 推理 fleet、路由层、沙箱、agent 执行环境 —— 正是第七卷那些安全关切上演的地方。扩展和安全是同一个问题的两面:一个是关于生长的工程,另一个是关于生长会招来的攻击面的韧性工程。