LLM介绍
本页面为AI爱好者提供从基础到应用的大型语言模型（LLM）指南。
共有1篇文章。 |
当前在第1页，共1页。
第 6 章 — 剪枝与知识蒸馏
LLM Primer VI 章节走读第 6 篇。剪枝直接砍掉参与相乘的权重数量;蒸馏把大教师的行为迁到更小的学生上。Hopper 上的 2:4 稀疏、KL 蒸馏、MiniLLM 的反向 KL,以及三种压缩叠加的顺序。
2026-04-28