LLM介紹
本頁面為AI愛好者提供從基礎到應用的大型語言模型（LLM）指南。
共有4篇文章。 |
當前在第1頁，共1頁。
第 8 章 — 下一代 KV 快取管理
LLM Primer VI 章節走讀第八篇。這一章把作業系統的分頁洞見搬進推論引擎 — 並把 KV 快取從一段預留的位元組 slab 變成一個共享、可逐出、可做 prefix cache 的資源。
2026-04-30
第 7 章 — 進階批次處理策略
LLM Primer VI 章節走讀第七篇。這一章展示為什麼批次處理不是最佳化,而是讓受頻寬所困的 decoding 變得可解的關鍵動作 — 以及為什麼「批次」是動詞、不是名詞。
2026-04-29
第 2 章 — KV 快取的挑戰
LLM Primer VI 章節走讀第二篇。這一章替那個會先於權重吃光每個服務系統 VRAM 的資料結構命名。走過主導 KV 快取大小的公式、把它縮小的架構變體,以及會摧毀天真配置方式的碎裂化問題。
2026-04-24
LLM Primer VI — 系列簡介與索引
《LLM Primer VI:擴展 AI 系統》章節走讀的入口。這一卷把 LLM 推論當成一門工程學科來看待,在記憶體頻寬、排程、以及美元符號互相碰撞的地方展開。
2026-04-22