第 4 章 — 专用 AI 芯片与 ASIC
《LLM Primer VI: Scaling AI Systems》章节走读的第四篇。这一章要说的是:选 GPU 还是选 ASIC,是一个关于工作负载形状的问题 —— 这一章给你那副形状。
这一章为什么存在
GPU 阵营的立场是:LLM 推理只是稠密矩阵乘这一大类问题里的一种,一块可编程加速器是对的底座。ASIC 阵营的立场是:推理具体、规律、可预测到那种程度,一块 purpose-built 的芯片能在真正重要的两个指标上打赢通用的 —— 延迟和每 token 成本。两个阵营在各自挑的工作负载上都是对的。第 4 章走一遍 2026 年生产级的 ASIC 替代方案 —— Groq LPU、AWS Inferentia2、Google TPU v5p 和 v6、Intel Gaudi 3 —— 命名它们各自赢的那些区间,以及那些把工程师逼回 GPU 的失败模式。
4.1 Groq 靠取消 HBM 让延迟变成确定的
Groq LPU 是生产加速器市场里架构上最与众不同的一块芯片:它没有 HBM。整个模型住在编译器调度的片上 SRAM 里,散在很多块芯片上,这些芯片之间靠一张确定性的封装内网络连起来。没有动态内存分配、没有 kernel 启动开销、没有调度抖动 —— 同一份输入的每一次跑,都会在完全一样的纳秒数里产出完全一样的输出。掉出来的这个指标是 GPU 触不到的 decoding 延迟:70B 模型每请求 200–500 token/s,而 H100 是 30–80。架构代价是模型大小 —— SRAM 一块芯片只有几百 MB,所以 70B 模型要一柜子 250 块以上的芯片,靠 Groq TSP 互联连起来,一个柜子就是一个部署单位。能付得起这个柜子的场景,是对话预算 200 ms 以内的语音助手、交互式代码补全、金融信号生成 —— 用户感受到每一毫秒的那些地方。
4.2 Inferentia2 和 TPU 在模型稳定时靠成本赢
AWS Inferentia2 和 Google TPU v5p/v6 攻的是另一个指标:每百万输出 token 多少美元。两者都是 purpose-built,面向稳态、批量化的 serving,模型清单窄、延迟预算宽、量大到能让 40–60% 的成本节省压过重新上平台的成本。Inferentia2 暴露 Neuron SDK,在 AWS 官方容器里跑 vLLM;编译步骤在首次加载时很重,之后靠缓存。TPU 暴露 JAX/XLA,在 Vertex AI Inference endpoint 里跑。两个平台奖励那些日复一日样子不变的工作负载 —— 翻译、审核、embedding 流水线、稳定语料上的 RAG —— 也惩罚那些常换模型架构的工作负载,因为"编译再缓存"这条路,对每一次模型换代都是一笔税。有纪律的做法是挑一个然后标准化;同时在生产级别跑两个平台,就是把重上平台的税翻一倍。
4.3 Gaudi 3 是"以太网优先"的赌注,GPU 仍然赢下前沿
Intel Gaudi 3 押了另一个结构性的赌:不用专有互联(NVLink、ICI、TSP),而是靠通用 200/400 GbE 做芯片对芯片通信,赌以太网原生的横向扩展能压低大规模部署的运营成本。软件是 Habana SynapseAI 加 PyTorch Lightning 集成,vLLM 支持在稳步改善。Gaudi 3 的价格咄咄逼近 H100 和 MI300X,定位是"迁移摩擦最小的省钱杠杆",给那些想要 ASIC 经济性但又不想上新互联层的团队。撞上这一切,GPU 仍然在一个区间赢:模型多样性、前沿规模、实验型。任何团队要跑 405B 级模型、刚发布的前沿架构、自己微调过的变体、或者研究论文里的定制 kernel,CUDA 的生态深度和 NVIDIA 首发的位置就会回本。启发式是那道"kernel 之问" —— 如果全栈只跑标准 FlashAttention 和标准 fused-MLP kernel,别的都不碰,ASIC 是候选人;如果全栈要跑团队里某个人写的 kernel,GPU 是更稳的买法。
第 4 章为下面铺了什么
第 3、4 章描述了硬件底座今天的样子。手里能买到的每一款卡,要么被 HBM 带宽卡着(GPU decoding),要么是靠架构把 HBM 绕开了(Groq),要么是把带宽针对稳定工作负载定价得很积极(Inferentia、TPU、Gaudi)。第 5 章转向软件侧那个直接压缩每 token 带宽负担的动作:从 FP16 一路量化到 FP8 和 FP4。升级到 Blackwell 得到的那份收益,以及把现有模型量化到 FP8 得到的那份收益,机制上是同一根杠杆在不同层被拉了一下 —— 而且往往会一起用。
下一章 — 第 5 章:拆解量化。从 BF16 到 FP8 再到 INT4 的精度下降、大模型为什么能扛得住,以及真正能上生产的那份校准流程。
