LLM Primer VI — 系列导读与目录
《LLM Primer VI: Scaling AI Systems》章节走读的第一篇。这一卷把 LLM 推理当成一门工程学科来对待 —— 内存带宽、调度、每一美元的账单,在同一块芯片上撞在一起。
这套走读为什么存在
一块租金四到八美元一小时的 H100,能给出 989 TFLOP/s 的 BF16 算力。一个单用户,面对 70B 模型,实时地生成一段回答,大概只用到这块芯片 0.34% 的算力。剩下 99.7% 是空转 —— 不是因为工作量小,而是因为工作量卡在内存带宽上,HBM 一层层往芯片里流权重,tensor core 却没活干。推理工程这门学科,做的就是给这些空转的计算单元找活。它是一门关于 batch、关于 KV cache 记账、关于量化、关于投机解码、关于调度,最后也关于平台、编排和成本的学科。这一卷里每一项技术,都是同一个动作的变体:把带宽受限造成的浪费转换成吞吐,又不能破坏用户实际感受到的延迟。
写给谁
平台工程师、SRE、负责大规模 LLM 推理的基础设施架构师 —— 延迟一飙升就被 page 的那群人,预算表上 GPU 池那一行是他们的,月底还要向财务解释为什么这个月的账单是上个月的两倍。也写给刚把模型训练完就要负责把它 serve 出去的 ML 工程师,以及不知不觉成了团队里最懂推理那个人的后端工程师。这本书假定读者对分布式系统和容器熟悉,不假定读者对 GPU 内部结构或者 transformer 的内存访问模式有先验知识。这两块是从头搭起来的。
怎么读
十六章分成六个部分。第 1、2 章给这份工作量起名字 —— 自回归循环和 KV cache。第 3、4 章走跑它的那些硅片,从 H100 到 Groq 的 LPU。第 5、6 章走模型侧的压缩 —— 量化、剪枝、蒸馏 —— 减小带宽负担。第 7 到 9 章走运行时侧的技巧 —— batching、paged KV、投机解码 —— 把空转时间藏起来。第 10 到 13 章走服务栈 —— engine、平台、拆分部署、autoscaling —— 把这些技巧变成一个能跑的服务。第 14 到 16 章走钱:token 经济学、自建对比 API、以及那些会复利叠加的省钱手法。各章可以按顺序读,也可以按主题跳读,但机制先行的这套讲法依赖第 1、2 章的框架。
十六章的走读安排
4 月 23 日到 5 月 8 日,每天一章。每一篇把该章的三个核心观点浓缩成一份大约五分钟能读完的稿子,书里那一章保留完整的例子、代码,以及 In Plain English 边栏。
- 4 月 23 日 — 第 1 章 — Token 生成的机制。自回归循环、prefill 与 decoding 的区别,以及为什么单用户会让一块 H100 空转 99.7%。
- 4 月 24 日 — 第 2 章 — KV Cache 的挑战。那道内存公式、MHA/GQA/MQA 的取舍,以及为什么朴素分配方式会把并发彻底拖垮。
- 4 月 25 日 — 第 3 章 — 面向生成式 AI 的数据中心 GPU。H100、H200、B200、L40S、MI300X —— 按带宽和显存画像来读,而不是按 FLOPs。
- 4 月 26 日 — 第 4 章 — 专用 AI 芯片与 ASIC。Groq LPU、Inferentia2、TPU v5p/v6、Gaudi 3 —— ASIC 在哪种场景里赢,在哪种场景里输。
- 4 月 27 日 — 第 5 章 — 拆解量化。为什么 FP16 → INT4 能把吞吐翻两番,AWQ、GPTQ、SmoothQuant、GGUF 各自到底在做什么。
- 4 月 28 日 — 第 6 章 — 剪枝与知识蒸馏。Hopper 上的 2:4 稀疏,以及教师的软标签怎么变成一个更小的学生模型。
- 4 月 29 日 — 第 7 章 — 进阶 Batching 策略。从静态 batching 到迭代级 continuous batching,以及后者留下的债务。
- 4 月 30 日 — 第 8 章 — 新一代 KV Cache 管理。PagedAttention、H2O 淘汰、InfiniGen,以及前缀缓存经济学。
- 5 月 1 日 — 第 9 章 — 投机解码。Draft、verify,以及投机什么时候真的划算的那道算术 —— EAGLE、Medusa、MTP。
- 5 月 2 日 — 第 10 章 — LLM Engine 层。vLLM、TensorRT-LLM、SGLang、TGI、Ollama —— 按机制而不是按 benchmark 来挑 engine。
- 5 月 3 日 — 第 11 章 — 平台与编排层。Ray Serve、KServe、BentoML、Triton —— 哪种平台配哪种 ops 文化。
- 5 月 4 日 — 第 12 章 — 拆分部署与 Kubernetes。把 prefill 和 decode 拆到不同 GPU 池,以及承载这套拆分的 Kubernetes 原语。
- 5 月 5 日 — 第 13 章 — 自动扩缩与冷启动缓解。为什么 HPA 对 LLM 是错的,以及 KEDA、Knative、CRIU 怎么合起来把冷启动压到五秒内。
- 5 月 6 日 — 第 14 章 — Token 经济学与 API 定价。为什么输出的价格永远高于输入,以及看不见的 reasoning token 怎么悄悄爬上账单。
- 5 月 7 日 — 第 15 章 — Serverless API 对比自建基础设施。那道盈亏平衡的算术,以及大多数团队低估的那笔平台工程账。
- 5 月 8 日 — 第 16 章 — 生产环境的降本策略。路由、上下文压缩、批量 API、语义缓存 —— 那几个会复利叠加的动作。
关于这本书和这套系列
LLM Primer 系列共七卷,作者是下田昌平,在 Amazon KDP 出版,每一章在 ReceiptRoller 博客这里按走读的节奏发布。这套系列的立场是:用 LLM 做产品是一门系统学科,而学它最好的方式是按机制先行的散文一层一层走过整栈,而不是靠一份清单打勾。第六卷是基础设施那一卷 —— 一层一层回答这样一个问题:硬件、运行时、平台各自要满足什么条件,才能让一个 LLM 功能在真实流量和一次财务审阅面前都活下来。
