LLM介绍
本页面为AI爱好者提供从基础到应用的大型语言模型（LLM）指南。
第 17 章 — 未来威胁与新兴防御
LLM Primer VII 章节走读的第 17 篇,也是本卷和 LLM Primer 系列的收官之作。走看那些还在成形中的学科 —— 自主智能体、多模态攻击面、合成身份,以及 2026 年中期 AI 对 AI 的军备竞赛。
2026-05-26
第 15 章 — 构建一个安全的 AI 组织
LLM Primer VII 章节走读第 15 篇。这一章把安全文化、红队、供应商风险和长期管理,当作那份跨年承载这门学科的组织基础设施。
2026-05-24
第 14 章 — 偏见、公平与责任 AI
LLM Primer VII 章节走读第 14 篇。这一章把责任 AI 当作一门在不确定性下做选择的学科来处理 —— 技术工具让权衡浮出水面,但并不替你解决它。
2026-05-23
第 12 章 — 访问控制与身份
LLM Primer VII 章节走读第 12 篇。这一章回答那个组合性的问题 —— 谁被允许调用一个 LLM 集成应用的哪种能力,以及执法如何跨系统的各组件构建。
2026-05-21
第 11 章 — 可观测性、日志与事件响应
LLM Primer VII 章节走读第 11 篇。这一章把日志、告警和事件响应当作那层"把架构性防御变成运营者真的能跑起来的系统"的层。
2026-05-20
第 10 章 — 设计安全的 LLM 架构
LLM Primer VII 章节走读第 10 篇。这一章把架构当作首要安全学科来处理 —— 因为一个概率组件最安全的配置,是那种爆炸半径由结构而不是由组件自己的克制来限定的配置。
2026-05-19
第 9 章 — 模型完整性与供应链风险
LLM Primer VII 章节走读第 9 篇。这一章把模型 artefact 当作由第三方分发的二进制来对待 —— 带着二进制分发一直带着的反序列化、后门和出处问题。
2026-05-18
第 7 章 — 幻觉与可靠性
LLM Primer VII 章节走读第 7 篇。这一章把可靠性作为安全性质来处理 —— 因为在结果依赖于正确性的时候,一份自信的错误输出就是一个安全问题。
2026-05-16
第 5 章 — 输入验证与输出过滤
LLM Primer VII 章节走读第 5 篇。这一章把第 4 章的分层缓解框架变成操作纪律 —— 清洗阶段、护栏工具、结构化输出、红队,以及说得清楚的安全指标。
2026-05-14
第 3 章 — 数据安全与隐私
LLM Primer VII 章节走读第 3 篇。这一章把数据当作一份有生命周期的资产来处理 —— 从被模型部分记住的训练语料,到 Samsung 工程师在这个事件还没被命名之前粘进 ChatGPT 的那些代码。
2026-05-12
第 14 章 — Token 经济学与 API 定价
LLM Primer VI 章节走读第 14 篇。为什么输出比输入贵 4–8 倍。输入输出混合决定优化杠杆的方向。上下文累积和看不见的 reasoning token 是账单上最贵的两个隐藏项。
2026-05-06
第 13 章 — 自动扩缩与冷启动缓解
LLM Primer VI 章节走读第 13 篇。默认 HPA 在 LLM 流量上会造成故障 —— 按队列深度、TTFT、KV 占用扩缩,并用 CRIU 温存快照把冷启动压到 3–6 秒。
2026-05-05
第 12 章 — 拆分部署与 Kubernetes
LLM Primer VI 章节走读第 12 篇。把 prefill 和 decode 拆到不同 GPU 池,让每一池按自己的工作负载调优。LeaderWorkerSet、Grove PodCliqueSet、KAI Scheduler —— 表达这次拆分的 Kubernetes 原语。
2026-05-04
第 11 章 — 平台与编排层
LLM Primer VI 章节走读第 11 篇。平台的选择不是关于功能,而是关于哪一种运营模型贴合团队的 ops 文化。Ray Serve、KServe、BentoML、Triton —— 四种 CRD、Python actor、Bento、模型仓库,分别匹配不同的 ops grain。
2026-05-03
第 10 章 — LLM Engine 层
LLM Primer VI 章节走读第 10 篇。Engine 是把一个模型跑在一块或几块 GPU 上的单节点运行时。vLLM、TensorRT-LLM、SGLang、TGI、Ollama —— 五个 engine 在同一份工作上做的不同机制层面取舍。
2026-05-02
第 9 章 — 投机解码
LLM Primer VI 章节走读第 9 篇。原来自回归的顺序瓶颈里藏着一个数学漏洞:先猜再验。EAGLE、Medusa、Lookahead、MTP —— 以及投机什么时候真的划算的那道算术。
2026-05-01
第 7 章 — 进阶 Batching 策略
LLM Primer VI 章节走读第 7 篇。Batching 不是一项优化,是让带宽受限 decoding 变得经济可行的那个决定性动作。从静态 batching 到 continuous batching,再到 chunked prefill —— 以及后者留给 KV cache 的债务。
2026-04-29
第 6 章 — 剪枝与知识蒸馏
LLM Primer VI 章节走读第 6 篇。剪枝直接砍掉参与相乘的权重数量;蒸馏把大教师的行为迁到更小的学生上。Hopper 上的 2:4 稀疏、KL 蒸馏、MiniLLM 的反向 KL,以及三种压缩叠加的顺序。
2026-04-28
第 5 章 — 拆解量化
LLM Primer VI 章节走读第 5 篇。为什么 70B 模型能扛得住 4-bit 量化,而 1B 模型不能。AWQ、GPTQ、SmoothQuant、GGUF 各自在做什么,以及那份能上生产的校准纪律。
2026-04-27
第 4 章 — 专用 AI 芯片与 ASIC
LLM Primer VI 章节走读第 4 篇。选 GPU 还是选 ASIC,是一个关于工作负载形状的问题。这一章给你那副形状 —— Groq LPU、Inferentia2、TPU v5p/v6、Gaudi 3,各自赢在哪里,输在哪里。
2026-04-26
第 3 章 — 面向生成式 AI 的数据中心 GPU
LLM Primer VI 章节走读第 3 篇。挑一块 serving GPU,该看的是 HBM 带宽和 VRAM 容量,而不是数据表正面那个 FLOP/s 数字。这一章走 H100、H200、B200、L40S、MI300X 这五款主流硅片。
2026-04-25
第 1 章 — Token 生成的机制
LLM Primer VI 章节走读第 1 篇。这一章说的是:LLM serving 里几乎每一个难题都能追溯到同一件事 —— 生成每一个 token 的那个循环是内存带宽受限的,你花大价钱买的算力有 99.7% 的时间在空转。
2026-04-23
LLM Primer VI — 系列导读与目录
《LLM Primer VI: Scaling AI Systems》章节走读的第一篇。这一卷把 LLM 推理当成一门工程学科:内存带宽、调度、每一美元的账单,在同一块芯片上撞在一起。十六章分成六个部分,一层层走过硬件、模型压缩、运行时、平台和经济学。
2026-04-22
第 7 章 — LLM 安全与护栏
LLM Primer V 章节走读第 7 篇。给 LLM 应用引入的那条新安全轴取一个名字 —— 控制哪些指令能到达模型、从哪里来、带着多少权限 —— 再围绕它搭起四层缓解矩阵。原则:权限必须匹配来源的信任度。
2026-04-20
第 6 章 — AI 可观测性与追踪
LLM Primer V 章节走读第 6 篇。把一次用户 query 当作一棵因果树,不是一条请求日志,再展示要让这棵树可读需要追踪什么:分布式追踪加 GenAI 语义约定,再加上 TTFT、TPOT、成本、质量这几个指标,以及把生产 trace 送回评估集的导出管道。
2026-04-19
LLM Primer V — 系列导读与索引
LLM Primer V 章节走读的系列导读。这一卷把 AI 工程当作一门独立的工程学科来讲,而不是一套 prompt 技巧;八个章节按栈的方式排列 —— 基础模型、prompt、检索、智能体、评估、可观测性、安全、以及部署经济学 —— 一层一层填出包在概率核心外面的确定性外壳。
2026-04-13第 14 章 — 基准测试、测试与性能
LLM Primer IV 章节走读最后一篇。真 server 上的 MCP-Universe Benchmark、它暴露的两种系统性故障、每请求一会话跟共享会话池之间的十倍吞吐差距,以及通往第 V 卷的桥。
2026-04-12第 13 章 — 框架与云集成
LLM Primer IV 章节走读第 13 篇。配 Bedrock 的 Strands、AWS 状态层模式、Microsoft Agent Framework、LangChain、Semantic Kernel — 以及团队各自独立到达的三种生产集成形态。
2026-04-11第 12 章 — 协议加固与防御
LLM Primer IV 章节走读第 12 篇。四簇防御 — 密码学背书、OAuth scope 纪律加有界会话、运行时沙箱、人工审批门 — 组合成一种不依赖模型在对抗条件下行为正确的安全姿态。
2026-04-10第 11 章 — 攻击面与协议漏洞
LLM Primer IV 章节走读第 11 篇。被改造到 MCP 上的几个经典攻击 — Confused Deputy、Token Passthrough、Session Hijacking — 围绕能力升级和未认证 sampling 的协议级缺陷,以及让上下文投毒变成结构性问题而不是卫生问题的隐式信任传播。
2026-04-09第 10 章 — 长时任务记忆
LLM Primer IV 章节走读第 10 篇。通过窗口和 ReAct scratchpad 的短期记忆,通过情景向量和语义存储的长期记忆,以及让 agent 跨小时跨天保持产出的压缩技巧。
2026-04-08第 9 章 — 管理注意力预算
LLM Primer IV 章节走读第 9 篇。Context rot、lost-in-the-middle 这一道悬崖、tool-loadout rot,以及对 "模型缺的那一份知识到底该放在哪一层" 的三个架构答案 — MCP、RAG、微调。
2026-04-07第 8 章 — 架构部署形态
LLM Primer IV 章节走读第 8 篇。MCP 生态里浮现出来的三种部署形态 — 可复用 agent、严格纯净、混合 — 以及决定哪一种适合哪个项目的四条约束。
2026-04-06第 7 章 — 高级协作与动态模式
LLM Primer IV 章节走读第 7 篇。Roundtable 共识、handoff 路由、magentic 编排 — 当拓扑要按请求构建时出现的那些模式,以及它们带来的故障模式(不停机、错路由、计划失控)。
2026-04-05第 6 章 — 基础编排策略
LLM Primer IV 章节走读第 6 篇。两种基础编排形状 — 顺序流水线和并发 scatter-gather — 以及每个团队都该先问的那个上游问题:多 agent 系统真的是这件事的答案吗?
2026-04-04第 5 章 — 传输协议与发现
LLM Primer IV 章节走读第 5 篇。MCP 支持的三种传输,.well-known 这一层发现机制加 Server Card,以及那些无聊的运维问题 — CORS、Origin 校验、缓存 — 决定一个 server 是合作型网络公民还是负债。
2026-04-03第 4 章 — 客户端原语:Agentic 行为与控制
LLM Primer IV 章节走读第 4 篇。Sampling、Roots、Elicitation 是 MCP 在 host-server 这堵墙上打的三个小洞 — 每一个都是 host 借给 server 的一份能力,也是替用户接住的一份风险。
2026-04-02第 3 章 — 服务器原语:暴露上下文与能力
LLM Primer IV 章节走读第 3 篇。MCP server 能给的三个名词 — Resources(读状态)、Prompts(可复用脚手架)、Tools(写操作) — 它们的 schema、生命周期、错误模型,以及挑对原语这件事的纪律。
2026-04-01第 2 章 — 揭开 Model Context Protocol(MCP)
LLM Primer IV 章节走读第 2 篇。MCP 到底标准化了什么,Host、Client、Server 三个角色的分工,动态发现和双向消息为什么在那些真正重要的场景里跟 REST 不一样,以及从能力协商开始的会话生命周期。
2026-03-31LLM Primer IV — 系列导读与目录
本文开启 LLM Primer 系列第四卷《用 MCP 设计 AI 认知》的章节走读。为什么智能体要靠一层协议才能从 demo 走到生产,这本书写给谁,以及 3 月 30 日到 4 月 12 日 14 篇连载的时间表。
2026-03-29第 11 章 — 持续更新与流水线优化
LLM Primer III 章节走读最末一篇。流水线没有「做完」这件事 — 文档在变、查询在漂、模型在换 — 负它的团队学着在三种时间尺度上同时思考。结尾接到第四本 — MCP。
2026-03-28第 9 章 — RAG 评测三件套
LLM Primer III 章节走读第九篇。三种不同的故障塌成同一种症状 — 这个领域为此发明了一只三头的度量,终于告诉团队:那个症状对的是哪一种故障。
2026-03-26第 8 章 — RAG 管线里的数据匿名化
LLM Primer III 章节走读第八篇。数据是该在模型看见之前匿名化、还是在用户看见输出之前?答案改写整条流水线的样子 — 而监管框架通常会替你做出答案。
2026-03-25第 7 章 — 落实访问控制
LLM Primer III 章节走读第七篇。为关系数据库和文件系统设计的权限模型,套到检索上不完全合身。访问单位不再是一行或一份文件,而是一个嵌入 — 哪怕原文档已被拦,这个嵌入还能通过相似搜索把它漏出来。
2026-03-24第 6 章 — RAG 的威胁模型
LLM Primer III 章节走读第六篇。纯 LLM 只有一条信任边界。一套 RAG 系统有很多 — 入库、解析、分块、嵌入、索引、检索、重排、生成、工具、输出 — 每一条都连着对手能塑形的输入。
2026-03-23第 5 章 — 搭一条检索流水线
LLM Primer III 章节走读第五篇。一次向量搜索是大多数 demo 停下的地方,也是大多数生产故障开始的地方。本章一路走到生成器手里那一组候选,以及每一步存在的理由。
2026-03-22第 3 章 — 进阶分块框架
LLM Primer III 章节走读第三篇。朴素的分块选择最会悄悄拖垮下游 — 以及最近两项把可能的上限都改写了的技术:contextual retrieval 与 late chunking。
2026-03-20第 2 章 — 智能文档解析
LLM Primer III 章节走读第二篇。检索系统会继承它输入的质量 — 而那个让 RAG 质量平庸的最常见原因,就悄悄住在输入层。PDF 不是文本文件、版面感知解析器把哪些信号放回来,以及让模型直接读页面图像的那一路多模态。
2026-03-19