第 4 章 — 專用 AI 矽晶片與 ASIC
《LLM Primer VI:擴展 AI 系統》章節走讀的第四篇。這一章主張 GPU 與 ASIC 之間的選擇是一道工作量形狀題 — 並把形狀交給你。
這一章為什麼存在
GPU 陣營主張 LLM 推論是眾多密集矩陣乘法問題中的一種,而一顆可程式化的加速器就是對的底層。ASIC 陣營主張推論夠特定、夠規律、夠可預測,一顆專門打造的晶片能在兩個真正重要的指標上勝過通用晶片 — 延遲以及每個 token 的成本。就它們各自選定的工作量而言,兩個陣營都對。第 4 章走過 2026 年生產級的、可以拿來替代資料中心 GPU 的 ASIC 選項 — Groq 的 LPU、AWS Inferentia2、Google 的 TPU v5p 與 v6、Intel 的 Gaudi 3 — 並替它們各自贏的情境與會把工程師逼回 GPU 的失敗模式命名。
4.1 Groq 消掉 HBM 讓延遲變成決定性的
Groq LPU 是生產加速器市場裡架構上最有特色的晶片:它沒有 HBM。整個模型活在編譯器排程過的晶片內建 SRAM 裡,分散在許多晶片上,靠一組決定性的封裝內網路互連。沒有動態記憶體配置、沒有 kernel 啟動開銷、沒有排程抖動 — 每次同一份輸入跑起來,都會在完全一樣的奈秒數內產出完全一樣的輸出。得出來的指標是 GPU 沒辦法企及的 decoding 延遲:一顆 70B 模型每個請求每秒 200 到 500 個 token,對比 H100 的 30 到 80 個。架構上的代價是模型大小 — SRAM 每顆晶片被限制在幾百 MB,所以一顆 70B 模型需要一整組 250 顆以上的晶片、靠 Groq 的 TSP 互連連起來,而機櫃就是部署的單位。付得起這個機櫃的工作量,是 200 毫秒對話預算內的語音助理、互動式程式碼補全、金融訊號生成 — 任何使用者能感受到每一毫秒的地方。
4.2 Inferentia2 與 TPU 在模型穩定時靠成本贏
AWS Inferentia2 與 Google TPU v5p/v6 攻擊的是另一個指標:每一百萬個輸出 token 的美元。兩者都是為了穩態批次服務而打造的,適用場景是模型組合狹窄、延遲預算寬鬆、量夠大到相對於 GPU 的 40% 到 60% 成本節省能壓過重新平台化成本。Inferentia2 對外提供 Neuron SDK,並透過 AWS 官方容器跑 vLLM;首次載入時的編譯步驟很重,之後會被快取。TPU 對外提供 JAX/XLA,並透過 Vertex AI Inference 端點來跑。兩個平台都會獎勵每天看起來都一樣的工作量 — 翻譯、審核、embedding 管線、對穩定文集做 RAG — 而且都會懲罰頻繁換模型架構的工作量,因為「先編譯再快取」這條路對每次換模型都是一種稅。紀律是挑一個然後標準化;兩個都在生產規模上跑,重新平台化的稅就要交兩份。
4.3 Gaudi 3 是「以太網先行」的賭注,而 GPU 依舊在最前沿贏
Intel Gaudi 3 賭的是另一種結構:不用專有互連(NVLink、ICI、TSP),而是用商規 200/400 GbE 做晶片對晶片的通訊,賭 Ethernet-native 的橫向擴展會降低大型部署的維運成本。軟體是 Habana 的 SynapseAI 加上 PyTorch Lightning 整合,vLLM 支援也在穩定改善。Gaudi 3 對著 H100 與 MI300X 積極定價,定位成「遷移摩擦最小的 ASIC 成本槓桿」— 適合想要 ASIC 經濟性、又不想新引一層互連的團隊。跟這些對比,GPU 依舊在一個情境裡贏:模型多樣性、最前沿規模、以及實驗性。任何團隊在跑 405B 等級的模型、剛發布的最前沿架構、客製化微調變體、或是研究論文級的 kernel 時,CUDA 的生態系深度與 NVIDIA 第一時間到市的位置就會回本。經驗法則是「kernel 問題」— 如果堆疊跑的都是標準 FlashAttention、標準融合 MLP kernel,而且從來不去碰別的東西,那 ASIC 就是候選;如果堆疊裡有某段 kernel 是團隊裡有人自己寫的,那 GPU 是比較安全的買法。
第 4 章鋪陳出來的東西
第 3、4 章描述了眼下的硬體底層。市面上的每一張卡不是受制於 HBM 頻寬(GPU decoding)、就是重新工程過把這件事繞開(Groq)、或是替穩定工作量把頻寬定得很便宜(Inferentia、TPU、Gaudi)。第 5 章接著轉到直接收斂每個 token 頻寬負擔的軟體端動作:從 FP16 一路量化到 FP8 與 FP4。升級到 Blackwell 得到的收益,跟把現有模型量化到 FP8 得到的收益,從機制上看是同一根槓桿在堆疊的不同層次被拉動 — 而且它們常常會被同時使用。
下一篇 — 第 5 章:量化去神秘化。從 BF16 到 FP8 再到 INT4 的精度下滑、為什麼大模型能倖存,以及真正上得了線的校準流程。
