LLM介绍
本页面为AI爱好者提供从基础到应用的大型语言模型（LLM）指南。
共有1篇文章。 |
当前在第1页，共1页。
第 8 章 — 新一代 KV Cache 管理
LLM Primer VI 章节走读第 8 篇。把 KV cache 当成分页虚拟内存来管理:小 block、page table、引用计数共享 —— continuous batching 那道内存债就还得起。PagedAttention、H2O、InfiniGen、前缀缓存。
2026-04-30