LLM介绍
本页面为AI爱好者提供从基础到应用的大型语言模型（LLM）指南。
第 12 章 — 访问控制与身份
LLM Primer VII 章节走读第 12 篇。这一章回答那个组合性的问题 —— 谁被允许调用一个 LLM 集成应用的哪种能力,以及执法如何跨系统的各组件构建。
2026-05-21
第 3 章 — 数据安全与隐私
LLM Primer VII 章节走读第 3 篇。这一章把数据当作一份有生命周期的资产来处理 —— 从被模型部分记住的训练语料,到 Samsung 工程师在这个事件还没被命名之前粘进 ChatGPT 的那些代码。
2026-05-12
第 2 章 — LLM 系统的威胁建模
LLM Primer VII 章节走读第 2 篇。这一章把 Shostack 的四个问题、STRIDE、PASTA 和 MITRE ATLAS 应用到一个系统上 —— 其最强的组件把所有输入都读作潜在指令。
2026-05-11
第 1 章 — 为什么 AI 安全和以往不同
LLM Primer VII 章节走读第 1 篇。这一章要论证的是:AI 安全不是给传统安全前面加一个 ML 形容词 —— 底座变了,后面每一章都是这个变化的直接推论。
2026-05-10
LLM Primer VII — 系列引言与索引
《LLM Primer VII: AI Security》章节走读的系列引言与索引 —— LLM Primer 系列的收官之作,把七卷的工程弧线落到那门决定这一切能否在对手、监管者和概率系统日常故障模式面前存活下来的学科。
2026-05-09
第 15 章 — Serverless API 对比自建基础设施
LLM Primer VI 章节走读第 15 篇。GPU 租金分项决定 token 那道算术;平台工程分项决定这单交易。混合姿态几乎总是对的答案,应用边界那个路由器是承重的那一块。
2026-05-07
第 13 章 — 自动扩缩与冷启动缓解
LLM Primer VI 章节走读第 13 篇。默认 HPA 在 LLM 流量上会造成故障 —— 按队列深度、TTFT、KV 占用扩缩,并用 CRIU 温存快照把冷启动压到 3–6 秒。
2026-05-05
第 9 章 — 投机解码
LLM Primer VI 章节走读第 9 篇。原来自回归的顺序瓶颈里藏着一个数学漏洞:先猜再验。EAGLE、Medusa、Lookahead、MTP —— 以及投机什么时候真的划算的那道算术。
2026-05-01
第 8 章 — 新一代 KV Cache 管理
LLM Primer VI 章节走读第 8 篇。把 KV cache 当成分页虚拟内存来管理:小 block、page table、引用计数共享 —— continuous batching 那道内存债就还得起。PagedAttention、H2O、InfiniGen、前缀缓存。
2026-04-30
第 4 章 — 专用 AI 芯片与 ASIC
LLM Primer VI 章节走读第 4 篇。选 GPU 还是选 ASIC,是一个关于工作负载形状的问题。这一章给你那副形状 —— Groq LPU、Inferentia2、TPU v5p/v6、Gaudi 3,各自赢在哪里,输在哪里。
2026-04-26
第 3 章 — 面向生成式 AI 的数据中心 GPU
LLM Primer VI 章节走读第 3 篇。挑一块 serving GPU,该看的是 HBM 带宽和 VRAM 容量,而不是数据表正面那个 FLOP/s 数字。这一章走 H100、H200、B200、L40S、MI300X 这五款主流硅片。
2026-04-25
第 2 章 — KV Cache 的挑战
LLM Primer VI 章节走读第 2 篇。KV cache 是 serving 系统里最大的显存消费者。这一章走那道决定它大小的公式、MHA/GQA/MQA 三种架构选择,以及那道毁掉并发的碎片化问题。
2026-04-24
第 1 章 — Token 生成的机制
LLM Primer VI 章节走读第 1 篇。这一章说的是:LLM serving 里几乎每一个难题都能追溯到同一件事 —— 生成每一个 token 的那个循环是内存带宽受限的,你花大价钱买的算力有 99.7% 的时间在空转。
2026-04-23
LLM Primer VI — 系列导读与目录
《LLM Primer VI: Scaling AI Systems》章节走读的第一篇。这一卷把 LLM 推理当成一门工程学科:内存带宽、调度、每一美元的账单,在同一块芯片上撞在一起。十六章分成六个部分,一层层走过硬件、模型压缩、运行时、平台和经济学。
2026-04-22
第 3 章 — 检索增强生成
LLM Primer V 章节走读第 3 篇。走完 RAG 五阶段管道 —— 加载、切分、embedding、检索、生成 —— 顺带把 demo 阶段的 RAG 和真正扛得住真实语料的生产 RAG 分开:混合检索加重排器、结构感知加语义组合的切分,以及按 query 派发的变换路由。
2026-04-16
第 2 章 — 基础模型与 prompt 工程
LLM Primer V 章节走读第 2 篇。把 prompt 工程当工程来做:版本化的模板、防御性分隔符、结构化输出,而不是靠感觉打分的手艺。模型选型、采样参数、prompt 剖面、结构化输出 —— 这四个控制面要么被主动操作,要么就接受后果。
2026-04-15
第 1 章 — AI 工程这门学科
LLM Primer V 章节走读第 1 篇。demo 到生产之间那道可靠性鸿沟不是模型问题,而是工程问题 —— 而这份工程有自己的名字:围绕概率式核心构建一层确定性外壳,再把可靠性、质量、性能、成本、演进这五根柱子一根根立起来。
2026-04-14
LLM Primer V — 系列导读与索引
LLM Primer V 章节走读的系列导读。这一卷把 AI 工程当作一门独立的工程学科来讲,而不是一套 prompt 技巧;八个章节按栈的方式排列 —— 基础模型、prompt、检索、智能体、评估、可观测性、安全、以及部署经济学 —— 一层一层填出包在概率核心外面的确定性外壳。
2026-04-13第 14 章 — 基准测试、测试与性能
LLM Primer IV 章节走读最后一篇。真 server 上的 MCP-Universe Benchmark、它暴露的两种系统性故障、每请求一会话跟共享会话池之间的十倍吞吐差距,以及通往第 V 卷的桥。
2026-04-12第 10 章 — 长时任务记忆
LLM Primer IV 章节走读第 10 篇。通过窗口和 ReAct scratchpad 的短期记忆,通过情景向量和语义存储的长期记忆,以及让 agent 跨小时跨天保持产出的压缩技巧。
2026-04-08第 9 章 — 管理注意力预算
LLM Primer IV 章节走读第 9 篇。Context rot、lost-in-the-middle 这一道悬崖、tool-loadout rot,以及对 "模型缺的那一份知识到底该放在哪一层" 的三个架构答案 — MCP、RAG、微调。
2026-04-07第 6 章 — 基础编排策略
LLM Primer IV 章节走读第 6 篇。两种基础编排形状 — 顺序流水线和并发 scatter-gather — 以及每个团队都该先问的那个上游问题:多 agent 系统真的是这件事的答案吗?
2026-04-04第 5 章 — 传输协议与发现
LLM Primer IV 章节走读第 5 篇。MCP 支持的三种传输,.well-known 这一层发现机制加 Server Card,以及那些无聊的运维问题 — CORS、Origin 校验、缓存 — 决定一个 server 是合作型网络公民还是负债。
2026-04-03第 3 章 — 服务器原语:暴露上下文与能力
LLM Primer IV 章节走读第 3 篇。MCP server 能给的三个名词 — Resources(读状态)、Prompts(可复用脚手架)、Tools(写操作) — 它们的 schema、生命周期、错误模型,以及挑对原语这件事的纪律。
2026-04-01第 2 章 — 揭开 Model Context Protocol(MCP)
LLM Primer IV 章节走读第 2 篇。MCP 到底标准化了什么,Host、Client、Server 三个角色的分工,动态发现和双向消息为什么在那些真正重要的场景里跟 REST 不一样,以及从能力协商开始的会话生命周期。
2026-03-31LLM Primer IV — 系列导读与目录
本文开启 LLM Primer 系列第四卷《用 MCP 设计 AI 认知》的章节走读。为什么智能体要靠一层协议才能从 demo 走到生产,这本书写给谁,以及 3 月 30 日到 4 月 12 日 14 篇连载的时间表。
2026-03-29第 11 章 — 持续更新与流水线优化
LLM Primer III 章节走读最末一篇。流水线没有「做完」这件事 — 文档在变、查询在漂、模型在换 — 负它的团队学着在三种时间尺度上同时思考。结尾接到第四本 — MCP。
2026-03-28第 9 章 — RAG 评测三件套
LLM Primer III 章节走读第九篇。三种不同的故障塌成同一种症状 — 这个领域为此发明了一只三头的度量,终于告诉团队:那个症状对的是哪一种故障。
2026-03-26第 8 章 — RAG 管线里的数据匿名化
LLM Primer III 章节走读第八篇。数据是该在模型看见之前匿名化、还是在用户看见输出之前?答案改写整条流水线的样子 — 而监管框架通常会替你做出答案。
2026-03-25第 7 章 — 落实访问控制
LLM Primer III 章节走读第七篇。为关系数据库和文件系统设计的权限模型,套到检索上不完全合身。访问单位不再是一行或一份文件,而是一个嵌入 — 哪怕原文档已被拦,这个嵌入还能通过相似搜索把它漏出来。
2026-03-24第 6 章 — RAG 的威胁模型
LLM Primer III 章节走读第六篇。纯 LLM 只有一条信任边界。一套 RAG 系统有很多 — 入库、解析、分块、嵌入、索引、检索、重排、生成、工具、输出 — 每一条都连着对手能塑形的输入。
2026-03-23第 5 章 — 搭一条检索流水线
LLM Primer III 章节走读第五篇。一次向量搜索是大多数 demo 停下的地方,也是大多数生产故障开始的地方。本章一路走到生成器手里那一组候选,以及每一步存在的理由。
2026-03-22第 3 章 — 进阶分块框架
LLM Primer III 章节走读第三篇。朴素的分块选择最会悄悄拖垮下游 — 以及最近两项把可能的上限都改写了的技术:contextual retrieval 与 late chunking。
2026-03-20第 2 章 — 智能文档解析
LLM Primer III 章节走读第二篇。检索系统会继承它输入的质量 — 而那个让 RAG 质量平庸的最常见原因,就悄悄住在输入层。PDF 不是文本文件、版面感知解析器把哪些信号放回来,以及让模型直接读页面图像的那一路多模态。
2026-03-19第 1 章 — RAG 架构的演进
LLM Primer III 章节走读第一篇。基础模型有两条结构性的限 — 知识封冻、来源不可指认 — 居然有同一个架构上的答案,而这个答案,三年里长出了四张脸。
2026-03-18LLM Primer III — 系列导读与目录
LLM Primer 系列第三本《用 RAG 增强企业级 AI》的章节走读开篇。RAG 从外面看是三只盒子,做下去每一只都是一门独立的学问。十一篇文章,一天一章,把企业级 RAG 那一整套决策摊开来看。
2026-03-17第11章 — 评估、校准与推理
LLM Primer II 章节走读第十一篇。怎么去衡量一个什么都能说的机器 — 困惑度、校准、benchmark 上那条少有人写的误差线,以及"测量幻觉"那件事的数学。
2026-03-13第 10 章 — 多模态:走出文本
LLM Primer I 章节走读第十篇。同一个 Transformer 是怎么学会接收图像和音频的 — vision transformer 和音频 token 化 — 以及"一个模型什么都能看"这种说法老老实实的边界在哪。
2026-02-27第 9 章 — RAG:把新鲜信息缝进上下文
LLM Primer I 章节走读第九篇。RAG(检索增强生成)到底在做什么、它是怎么补上模型的时间缺失和事实弱点的,以及好 RAG 和坏 RAG 的分水岭从哪儿开始。
2026-02-26第 3 章 — 文本在模型里是怎么流动的
LLM Primer I 章节走读第三篇。token 进了模型之后到底经历了什么 — 嵌入、注意力、Transformer — 不被矩阵淹没,也不丢精度。
2026-02-20第 2 章 — 概率、token 和文本
LLM Primer I 章节走读第二篇。token 和单词的区别、模型每一步构造出的那整张"下一个 token 概率分布"到底是什么,以及 temperature 和 top-p 怎么改变同一个模型的输出性格。
2026-02-19第 1 章 — 所以,大语言模型究竟是什么?
LLM Primer I 章节走读第一篇。"大"、"语言"和"模型"这三个词到底分别意味着什么、从规则系统到神经网络我们是怎么一步步走过来的,以及三个值得尽早摆脱的误解。
2026-02-18LLM Primer I — 章节走读:序言与目录
LLM Primer I 章节走读的开篇。整本书是怎么搭起来的、每一章给出什么,以及 2 月 18 日到 3 月 1 日这十二篇连载的发布日程。
2026-02-17
LLM Primer 系列 — 一卷一卷读懂生成式 AI 的实战指南
LLM Primer 系列 — 下田昌平(Sho Shimoda)撰写的七卷本生成式 AI 现场指南,现已完结。从基础到安全。含姊妹卷《Physical AI》。全 7 卷均在 Amazon 上架销售。
2026-02-15
大规模语言模型（LLM）全面指南：原理、应用与训练方法
深入探索大规模语言模型（LLM）的世界。本指南涵盖LLM的定义、在自然语言处理（NLP）中的作用、训练方法以及文本生成、翻译、问答系统和代码生成等实际应用。适合希望利用LLM开发创新解决方案的工程师与开发者。
2024-09-01