LLM介绍
本页面为AI爱好者提供从基础到应用的大型语言模型（LLM）指南。
共有1篇文章。 |
当前在第1页，共1页。
第 2 章 — KV Cache 的挑战
LLM Primer VI 章节走读第 2 篇。KV cache 是 serving 系统里最大的显存消费者。这一章走那道决定它大小的公式、MHA/GQA/MQA 三种架构选择,以及那道毁掉并发的碎片化问题。
2026-04-24