LLM介绍
本页面为AI爱好者提供从基础到应用的大型语言模型（LLM）指南。
共有1篇文章。 |
当前在第1页，共1页。
第 7 章 — 进阶 Batching 策略
LLM Primer VI 章节走读第 7 篇。Batching 不是一项优化,是让带宽受限 decoding 变得经济可行的那个决定性动作。从静态 batching 到 continuous batching,再到 chunked prefill —— 以及后者留给 KV cache 的债务。
2026-04-29