LLM Primer VI — 系列簡介與索引
《LLM Primer VI:擴展 AI 系統》的章節走讀入口 — 這一卷把 LLM 推論當成一門工程學科來處理,在記憶體頻寬、排程、以及美元符號互相碰撞的地方展開。
這個系列為什麼存在
一片以每小時四到八美元租用的 H100 提供 989 TFLOP/s 的 BF16 運算能力。單一使用者針對一顆 70B 模型即時產生單一回應時,大概只會用掉那顆晶片運算能力的 0.34%。晶片有 99.7% 是閒置的 — 不是因為工作量太小,而是因為工作量受制於記憶體頻寬,晶片的運算單元在 HBM 把權重串流過去的時候沒有事情可做。推論工程這門學科,就是替那些閒置的運算單元找工作做。它是一門關於批次處理、KV 快取記帳、量化、推測解碼、排程,最後推到平台、編排與成本的學科。這一卷裡的每一個技術,都是同一個動作的變奏:把受頻寬所困的浪費轉換成吞吐量,同時不打破使用者實際感受到的延遲。
我寫給誰看
擁有大規模 LLM 推論責任的平台工程師、SRE、以及基礎設施架構師 — 那些延遲一飆升就會被叫起來的人、預算裡最大一條就是 GPU 池的人、月底得跟財務解釋為什麼上個月的帳單是前個月兩倍的人。這本書也寫給訓練完模型之後得負責把它上線的 ML 工程師,以及突然發現自己在團隊裡最接近推論專家的後端工程師。書假設你熟悉分散式系統與容器;不假設你事先熟悉 GPU 內部運作或 Transformer 的記憶體樣式。這些會從原理開始建立起來。
怎麼讀這一卷
十六章分成六個部分。第 1 到 2 章替工作量命名 — 自回歸迴圈以及 KV 快取。第 3 到 4 章走一遍執行它的矽晶片,從 H100 走到 Groq 的 LPU。第 5 到 6 章走模型端的壓縮 — 量化、剪枝、蒸餾 — 收斂頻寬負擔。第 7 到 9 章走執行期的技術 — 批次處理、分頁式 KV、推測解碼 — 把閒置時間藏起來。第 10 到 13 章走服務堆疊 — 引擎、平台、解耦、自動擴縮 — 把那些技術變成一個服務。第 14 到 16 章走錢:token 經濟學、自架與 API,以及那些會複利累積的降本動作。章節可以照順序讀,也可以按主題挑,但由機制優先的敘述方式仰賴第 1 章與第 2 章。
十六章走讀
4 月 23 日到 5 月 8 日之間,走讀每天發一章。每一篇把該章的三個核心觀點濃縮成大約五分鐘的閱讀,細部的例子、程式碼、以及「In Plain English」邊欄就交給書中的章節。
- 4 月 23 日 — 第 1 章 — Token 生成的力學。自回歸迴圈、prefill 與 decoding 的區別,以及一位使用者為什麼會讓 H100 有 99.7% 是閒置的。
- 4 月 24 日 — 第 2 章 — KV 快取的挑戰。記憶體公式、MHA/GQA/MQA 的取捨,以及為什麼天真的配置會摧毀並行度。
- 4 月 25 日 — 第 3 章 — 生成式 AI 的資料中心 GPU。H100、H200、B200、L40S、MI300X — 用頻寬與 VRAM 的角度讀,而不是 FLOPs。
- 4 月 26 日 — 第 4 章 — 專用 AI 矽晶片與 ASIC。Groq 的 LPU、Inferentia2、TPU v5p/v6、Gaudi 3 — ASIC 在哪裡贏、在哪裡輸。
- 4 月 27 日 — 第 5 章 — 量化去神秘化。為什麼 FP16 → INT4 讓吞吐量翻四倍,以及 AWQ、GPTQ、SmoothQuant、GGUF 到底在做什麼。
- 4 月 28 日 — 第 6 章 — 剪枝與知識蒸餾。Hopper 上的 2:4 稀疏,以及老師的軟標籤如何轉化成一個更小的學生模型。
- 4 月 29 日 — 第 7 章 — 進階批次處理策略。從靜態批次到迭代級的連續批次,以及連續批次製造出來的債務。
- 4 月 30 日 — 第 8 章 — 下一代 KV 快取管理。PagedAttention、H2O 逐出、InfiniGen,以及 prefix cache 經濟學。
- 5 月 1 日 — 第 9 章 — 推測解碼。草擬、驗證,以及推測何時值得的算術 — EAGLE、Medusa、MTP。
- 5 月 2 日 — 第 10 章 — LLM 引擎層。vLLM、TensorRT-LLM、SGLang、TGI、Ollama,以及如何用機制而非跑分挑引擎。
- 5 月 3 日 — 第 11 章 — 平台與編排層。Ray Serve、KServe、BentoML、Triton — 哪個平台對應哪一種維運文化。
- 5 月 4 日 — 第 12 章 — 解耦式服務與 Kubernetes。把 prefill 與 decode 拆到不同的 GPU 池,以及能表達這件事的 Kubernetes 原語。
- 5 月 5 日 — 第 13 章 — 自動擴縮與冷啟動緩解。為什麼 HPA 對 LLM 而言是錯的訊號,以及 KEDA、Knative、CRIU 如何組合成 5 秒以內的冷啟動。
- 5 月 6 日 — 第 14 章 — Token 經濟學與 API 定價。為什麼輸出比輸入貴,以及看不見的 reasoning tokens 如何驚嚇帳單。
- 5 月 7 日 — 第 15 章 — 無伺服器 API 對比專屬基礎設施。損益兩平的算術,加上大多數團隊低估的那條平台工程項目。
- 5 月 8 日 — 第 16 章 — 生產環境的降本策略。路由、上下文壓縮、批次 API、語意快取 — 會複利累積的動作。
關於這本書與系列
LLM Primer 系列是下田昌平寫的七卷書,在 Amazon KDP 出版,在這裡的 ReceiptRoller 部落格上一章一章地閱讀。這個系列主張,用 LLM 打造東西是一門系統性學科,而學這門學科最好的方式,是以機制優先的敘述方式走過堆疊的每一層,而不是靠一張檢查清單。第六卷是基礎設施那一卷 — 一層一層地回答這個問題:硬體、執行期、平台各自要滿足什麼條件,一項 LLM 功能才能在真實流量下存活,並通過財務審查。
