LLM介绍
本页面为AI爱好者提供从基础到应用的大型语言模型（LLM）指南。
共有3篇文章。 |
当前在第1页，共1页。
第 8 章 — 新一代 KV Cache 管理
LLM Primer VI 章节走读第 8 篇。把 KV cache 当成分页虚拟内存来管理:小 block、page table、引用计数共享 —— continuous batching 那道内存债就还得起。PagedAttention、H2O、InfiniGen、前缀缓存。
2026-04-30
第 7 章 — 进阶 Batching 策略
LLM Primer VI 章节走读第 7 篇。Batching 不是一项优化,是让带宽受限 decoding 变得经济可行的那个决定性动作。从静态 batching 到 continuous batching,再到 chunked prefill —— 以及后者留给 KV cache 的债务。
2026-04-29
LLM Primer VI — 系列导读与目录
《LLM Primer VI: Scaling AI Systems》章节走读的第一篇。这一卷把 LLM 推理当成一门工程学科:内存带宽、调度、每一美元的账单,在同一块芯片上撞在一起。十六章分成六个部分,一层层走过硬件、模型压缩、运行时、平台和经济学。
2026-04-22