LLM介绍
本页面为AI爱好者提供从基础到应用的大型语言模型（LLM）指南。
第 17 章 — 未来威胁与新兴防御
LLM Primer VII 章节走读的第 17 篇,也是本卷和 LLM Primer 系列的收官之作。走看那些还在成形中的学科 —— 自主智能体、多模态攻击面、合成身份,以及 2026 年中期 AI 对 AI 的军备竞赛。
2026-05-26
第 10 章 — 设计安全的 LLM 架构
LLM Primer VII 章节走读第 10 篇。这一章把架构当作首要安全学科来处理 —— 因为一个概率组件最安全的配置,是那种爆炸半径由结构而不是由组件自己的克制来限定的配置。
2026-05-19
第 7 章 — 幻觉与可靠性
LLM Primer VII 章节走读第 7 篇。这一章把可靠性作为安全性质来处理 —— 因为在结果依赖于正确性的时候,一份自信的错误输出就是一个安全问题。
2026-05-16
第 16 章 — 生产环境的降本策略
LLM Primer VI 章节走读收官篇。六个正交动作 —— 路由、压缩、批量、缓存、prompt 审计、输出预算 —— 复利叠加到只剩上个月账单的 20%,而用户什么都不会察觉。
2026-05-08
第 15 章 — Serverless API 对比自建基础设施
LLM Primer VI 章节走读第 15 篇。GPU 租金分项决定 token 那道算术;平台工程分项决定这单交易。混合姿态几乎总是对的答案,应用边界那个路由器是承重的那一块。
2026-05-07
第 14 章 — Token 经济学与 API 定价
LLM Primer VI 章节走读第 14 篇。为什么输出比输入贵 4–8 倍。输入输出混合决定优化杠杆的方向。上下文累积和看不见的 reasoning token 是账单上最贵的两个隐藏项。
2026-05-06
第 13 章 — 自动扩缩与冷启动缓解
LLM Primer VI 章节走读第 13 篇。默认 HPA 在 LLM 流量上会造成故障 —— 按队列深度、TTFT、KV 占用扩缩,并用 CRIU 温存快照把冷启动压到 3–6 秒。
2026-05-05
第 12 章 — 拆分部署与 Kubernetes
LLM Primer VI 章节走读第 12 篇。把 prefill 和 decode 拆到不同 GPU 池,让每一池按自己的工作负载调优。LeaderWorkerSet、Grove PodCliqueSet、KAI Scheduler —— 表达这次拆分的 Kubernetes 原语。
2026-05-04
第 11 章 — 平台与编排层
LLM Primer VI 章节走读第 11 篇。平台的选择不是关于功能,而是关于哪一种运营模型贴合团队的 ops 文化。Ray Serve、KServe、BentoML、Triton —— 四种 CRD、Python actor、Bento、模型仓库,分别匹配不同的 ops grain。
2026-05-03
第 10 章 — LLM Engine 层
LLM Primer VI 章节走读第 10 篇。Engine 是把一个模型跑在一块或几块 GPU 上的单节点运行时。vLLM、TensorRT-LLM、SGLang、TGI、Ollama —— 五个 engine 在同一份工作上做的不同机制层面取舍。
2026-05-02
第 9 章 — 投机解码
LLM Primer VI 章节走读第 9 篇。原来自回归的顺序瓶颈里藏着一个数学漏洞:先猜再验。EAGLE、Medusa、Lookahead、MTP —— 以及投机什么时候真的划算的那道算术。
2026-05-01
第 8 章 — 新一代 KV Cache 管理
LLM Primer VI 章节走读第 8 篇。把 KV cache 当成分页虚拟内存来管理:小 block、page table、引用计数共享 —— continuous batching 那道内存债就还得起。PagedAttention、H2O、InfiniGen、前缀缓存。
2026-04-30
第 7 章 — 进阶 Batching 策略
LLM Primer VI 章节走读第 7 篇。Batching 不是一项优化,是让带宽受限 decoding 变得经济可行的那个决定性动作。从静态 batching 到 continuous batching,再到 chunked prefill —— 以及后者留给 KV cache 的债务。
2026-04-29
第 6 章 — 剪枝与知识蒸馏
LLM Primer VI 章节走读第 6 篇。剪枝直接砍掉参与相乘的权重数量;蒸馏把大教师的行为迁到更小的学生上。Hopper 上的 2:4 稀疏、KL 蒸馏、MiniLLM 的反向 KL,以及三种压缩叠加的顺序。
2026-04-28
第 5 章 — 拆解量化
LLM Primer VI 章节走读第 5 篇。为什么 70B 模型能扛得住 4-bit 量化,而 1B 模型不能。AWQ、GPTQ、SmoothQuant、GGUF 各自在做什么,以及那份能上生产的校准纪律。
2026-04-27
第 4 章 — 专用 AI 芯片与 ASIC
LLM Primer VI 章节走读第 4 篇。选 GPU 还是选 ASIC,是一个关于工作负载形状的问题。这一章给你那副形状 —— Groq LPU、Inferentia2、TPU v5p/v6、Gaudi 3,各自赢在哪里,输在哪里。
2026-04-26
第 3 章 — 面向生成式 AI 的数据中心 GPU
LLM Primer VI 章节走读第 3 篇。挑一块 serving GPU,该看的是 HBM 带宽和 VRAM 容量,而不是数据表正面那个 FLOP/s 数字。这一章走 H100、H200、B200、L40S、MI300X 这五款主流硅片。
2026-04-25
第 2 章 — KV Cache 的挑战
LLM Primer VI 章节走读第 2 篇。KV cache 是 serving 系统里最大的显存消费者。这一章走那道决定它大小的公式、MHA/GQA/MQA 三种架构选择,以及那道毁掉并发的碎片化问题。
2026-04-24
第 1 章 — Token 生成的机制
LLM Primer VI 章节走读第 1 篇。这一章说的是:LLM serving 里几乎每一个难题都能追溯到同一件事 —— 生成每一个 token 的那个循环是内存带宽受限的,你花大价钱买的算力有 99.7% 的时间在空转。
2026-04-23
LLM Primer VI — 系列导读与目录
《LLM Primer VI: Scaling AI Systems》章节走读的第一篇。这一卷把 LLM 推理当成一门工程学科:内存带宽、调度、每一美元的账单,在同一块芯片上撞在一起。十六章分成六个部分,一层层走过硬件、模型压缩、运行时、平台和经济学。
2026-04-22
第 8 章 — 性能、部署与成本优化
LLM Primer V 章节走读第 8 篇。把生产 LLM 的经济学当分层学科来做:最便宜的调用是那次没发生的调用,再往下每一层都是让下一次调用变便宜的那一层。语义缓存、动态路由、推理服务器内部的 PagedAttention、连续批处理、推测解码。
2026-04-21
第 2 章 — 基础模型与 prompt 工程
LLM Primer V 章节走读第 2 篇。把 prompt 工程当工程来做:版本化的模板、防御性分隔符、结构化输出,而不是靠感觉打分的手艺。模型选型、采样参数、prompt 剖面、结构化输出 —— 这四个控制面要么被主动操作,要么就接受后果。
2026-04-15
第 1 章 — AI 工程这门学科
LLM Primer V 章节走读第 1 篇。demo 到生产之间那道可靠性鸿沟不是模型问题,而是工程问题 —— 而这份工程有自己的名字:围绕概率式核心构建一层确定性外壳,再把可靠性、质量、性能、成本、演进这五根柱子一根根立起来。
2026-04-14第 13 章 — 框架与云集成
LLM Primer IV 章节走读第 13 篇。配 Bedrock 的 Strands、AWS 状态层模式、Microsoft Agent Framework、LangChain、Semantic Kernel — 以及团队各自独立到达的三种生产集成形态。
2026-04-11第 10 章 — 长时任务记忆
LLM Primer IV 章节走读第 10 篇。通过窗口和 ReAct scratchpad 的短期记忆,通过情景向量和语义存储的长期记忆,以及让 agent 跨小时跨天保持产出的压缩技巧。
2026-04-08第 7 章 — 高级协作与动态模式
LLM Primer IV 章节走读第 7 篇。Roundtable 共识、handoff 路由、magentic 编排 — 当拓扑要按请求构建时出现的那些模式,以及它们带来的故障模式(不停机、错路由、计划失控)。
2026-04-05第 2 章 — 揭开 Model Context Protocol(MCP)
LLM Primer IV 章节走读第 2 篇。MCP 到底标准化了什么,Host、Client、Server 三个角色的分工,动态发现和双向消息为什么在那些真正重要的场景里跟 REST 不一样,以及从能力协商开始的会话生命周期。
2026-03-31第 5 章 — 还是有些小毛病
LLM Primer I 章节走读第五篇。即便是训得很好的 LLM 也还在犯的那几样毛病 — 幻觉、对时间没概念、算术、一致性抖动 — 为什么这些不是 bug,而是同一个"下一个 token 预测"机制的特性。
2026-02-22第 3 章 — 文本在模型里是怎么流动的
LLM Primer I 章节走读第三篇。token 进了模型之后到底经历了什么 — 嵌入、注意力、Transformer — 不被矩阵淹没,也不丢精度。
2026-02-20
1.0 什么是LLM？大规模语言模型的定义与应用
了解大规模语言模型（LLM）的基本定义、工作原理以及其在自然语言处理中的应用。本文介绍了LLM的功能、优势，以及它如何与传统机器学习模型不同。
2024-09-02
大规模语言模型（LLM）全面指南：原理、应用与训练方法
深入探索大规模语言模型（LLM）的世界。本指南涵盖LLM的定义、在自然语言处理（NLP）中的作用、训练方法以及文本生成、翻译、问答系统和代码生成等实际应用。适合希望利用LLM开发创新解决方案的工程师与开发者。
2024-09-01