第 3 章 — 生成式 AI 的資料中心 GPU

《LLM Primer VI:擴展 AI 系統》章節走讀的第三篇。這一章主張你應該用 HBM 頻寬與 VRAM 容量來買服務用的 GPU,而不是規格表正面那個 FLOP/s 數字。

這一章為什麼存在

第 1、2 章建立了工作量:prefill 想讓矩陣引擎飽和,decoding 想把權重與 KV 快取以最快速度串流過去,而 KV 快取的佔用會呈乘法性放大。矽晶片的選擇,就是這兩種輪廓與市場交會的地方。2026 年的資料中心 GPU 目錄是一小組表面上看起來很相似的卡 — 一個加速器、幾千個核心、封裝內的一組記憶體 — 但它們在真正主導 decoding 成本的兩個維度上分歧得很厲害:HBM 頻寬與 VRAM 容量。第 3 章走過今日生產環境的主力陣容 — H100、H200、B200、L40S、MI300X — 給工程師夠多的機制去替特定工作量挑一張卡,而不是相信一張跑分圖表。

一句話總結:對服務而言,規格表上真正重要的兩個數字是 HBM 頻寬(權重與 KV 有多快串流)以及 VRAM(必須走多 GPU 之前能塞下多大的模型)— FLOP/s 主要只在 prefill 上有意義。

3.1 H100 是安全的預設,H200 是頻寬補丁

H100 依舊是幾乎每個生產推論機群的主力,如果沒有特別理由跑別的東西就用它。80 GB 的 HBM3、SXM 版本 3.35 TB/s 頻寬(PCIe 版本 2.04 TB/s)、989 BF16 TFLOPs,而且 — 關鍵是 — tensor cores 原生支援 FP8,把每個 token 的權重流量減半,讓一顆 70B 模型塞在 70 GB 而不是 140 GB。軟體堆疊已經成熟;定價也已穩定。H100 撐得比較辛苦的是容量:80 GB 卡住 70B FP8 模型再加上一組服務批次 KV 快取,超過就得走 tensor parallelism。H200 是精準的修補 — 一樣的 Hopper 運算、一樣的 700 W 熱設計功耗,但是有 141 GB 的 HBM3e 與 4.80 TB/s 的頻寬。任何在 H100 上受 HBM 限制的工作量(這差不多包含每一項 decoding 工作量),換到 H200 大約就是光從頻寬就有 40% 左右的吞吐量提升,再加上 H100 裝不下的 KV 快取所需要的餘裕。

3.2 Blackwell 加上 FP4 並把頻寬上限翻倍

B200 不是 Hopper 的小改版。192 GB 的 HBM3e、8.00 TB/s 的頻寬、2250 BF16 TFLOPs,以及第二代 transformer engine 在 tensor cores 上原生支援 FP4。FP4 相對於 FP8 又再把每個 token 的權重流量對半砍;搭配裸頻寬的翻倍,一顆 70B 模型在 H100 上大約每秒 decode 24 個 token,單一使用者在 B200 上可以輕鬆超過每秒 100 個 token,並且大致隨批次線性擴張。192 GB 容量能在單卡上裝下 FP8 的 180B 模型,或裝下 FP16 的 70B 模型還有充裕的 KV 空間,這就把 tensor parallelism 從許多部署裡拿掉。代價是價格與 1000 W 的熱功耗;Blackwell 最明顯划算的工作量,就是那些 H100 每個請求都在跟頻寬或容量上限奮戰的情況。

3.3 L40S 與 MI300X 是工作量形狀的選擇

L40S 是給不需要資料中心卡的工作量用的 Ada 世代卡。48 GB 的 GDDR6、0.86 TB/s 的頻寬、以及大約 H100 HBM 吞吐量的四分之一 — 但價格是三分之一,而且是標準的 PCIe 尺寸。對小型模型(大約到 13B)、非同步批次工作量、或是拿不到資料中心 HGX 底盤的邊緣部署而言,L40S 是對的答案,用 H100 就是浪費。AMD MI300X 在光譜的另一端:192 GB 的 HBM3、5.30 TB/s 的頻寬、OAM 上有 1307 BF16 TFLOPs。就服務原始能力來說,它在容量上跟 H200 相當或更好,受頻寬限制的 decoding 上大致相當,而且售價明顯更低。取捨在軟體堆疊 — ROCm 已經追近 CUDA,但還沒有全部趕上,而成熟引擎(vLLM、TensorRT-LLM、SGLang)在 NVIDIA 上經歷過的實戰更多。有 ROCm 熟練度的團隊,MI300X 是成本槓桿;沒有那個熟練度的團隊,H200 是比較安全的選擇。

值得記住:照這個順序讀規格表:VRAM(模型塞得下嗎?)、HBM 頻寬(decoding 跑多快?)、FP8/FP4 支援(量化能買回多少?),最後才看 FLOP/s。照反過來的順序 — 也就是行銷順序 — 就會買到錯的卡。

第 3 章鋪陳出來的東西

一旦 GPU 規格表被以頻寬與 VRAM 的視角重新解讀一次,自然的下一個問題就是通用 GPU 是不是對的底層。第 4 章走過專用矽晶片替代方案 — Groq 的 LPU、AWS Inferentia2、Google 的 TPU v5p 與 v6、Intel 的 Gaudi 3 — 每一項都在主張 LLM 推論夠規律,值得為它做一顆專用晶片。第 5 章接著走軟體端直接收斂每個 token 頻寬的動作:從 FP16 一路量化到 FP8 與 FP4,把受頻寬所困的工作量變成瓶頸位置會轉移的那種工作量。

下一篇 — 第 4 章:專用 AI 矽晶片與 ASIC。那些為了特定用途打造的加速器 — Groq、Inferentia2、TPU、Gaudi 3 — 以及它們在延遲或每個 token 成本上勝過 GPU 的情境。

想看完整的全貌?書中章節包含完整的規格對照表連同建議售價與熱功耗、當 VRAM 上限逼你走多 GPU 時的 tensor parallelism 算術、常常誤導跑分的 SXM 對 PCIe 差別,以及教你怎麼替 LLM 服務讀規格表的「In Plain English」邊欄。在 Amazon 查看 LLM Primer VI →