第3章 — 生成AI向けのデータセンターGPU

LLM Primer VI: AIシステムのスケーリング を章ごとに紹介していくウォークスルー、第3回。サービング用のGPUはデータシート表紙のFLOP/sではなく、HBM帯域とVRAM容量で買うべきだと論じる章です。

なぜこの章があるのか

第1章と第2章がワークロードを固定しました。プリフィルは行列エンジンの飽和を望み、デコードは重みとKVキャッシュを可能な限り速く流し込みたい、そしてKVキャッシュのフットプリントは乗算的にスケールする。シリコン選定は、この2つのプロファイルが市場と出会う場所です。2026年のデータセンターGPUカタログは、表面上は似通ったカードの小さな集合 — アクセラレータ、数千のコア、パッケージ上のメモリバンク — で、デコードコストを実際に支配する2つの次元 — HBM帯域とVRAM容量 — で鋭く分岐します。第3章は本番で優勢なラインナップ — H100、H200、B200、L40S、MI300X — を歩き、ベンチマーク図表を信じるのではなく、与えられたワークロードに対してエンジニアがカードを選べる程度の機構を提供します。

ひとことで言うと: サービングにおいてスペックシートで重要な2つの数字はHBM帯域(重みとKVがどれだけ速く流れるか)とVRAM(マルチGPUに行く前にどれだけ大きなモデルが入るか)。FLOP/sの値はほぼプリフィルに対してのみ効く。

3.1 H100は安全な既定、H200は帯域のパッチ

H100は、特に理由がなければ本番推論艦隊の労働馬であり続けています。80 GBのHBM3、SXM版で3.35 TB/sの帯域(PCIeでは2.04 TB/s)、989 BF16 TFLOPs、そして決定的にテンソルコアでのFP8ネイティブ対応 — これがトークンあたりの重みトラフィックを半分にし、70Bモデルを140 GBではなく70 GBに収める。ソフトウェアスタックは成熟し、価格も落ち着いた。H100が窮屈になるのは容量です。80 GBが70B FP8モデルとサービングバッチのKVキャッシュを収める上限で、それを超えるとテンソル並列を強います。H200は外科的な補正 — 同じHopperの演算、同じ700 Wの熱枠 — で、141 GBのHBM3eと4.80 TB/sの帯域を持ちます。H100でHBM律速だったあらゆるワークロード(つまりほぼ全てのデコードワークロード)にとって、H200は帯域だけで約40パーセントのスループット向上を差し込み、H100が保持できなかったKVキャッシュ用のヘッドルームを提供します。

3.2 BlackwellはFP4を追加し、帯域天井を倍にする

B200はHopperのリフレッシュではありません。192 GBのHBM3e、8.00 TB/sの帯域、2250 BF16 TFLOPs、そしてテンソルコアでFP4をネイティブ対応する第二世代トランスフォーマーエンジン。FP4はFP8比でトークンあたりの重みトラフィックをさらに半分にします。生の帯域の倍化と組み合わさると、H100で毎秒約24トークンでデコードしていた70Bモデルが、B200では1ユーザーに対して余裕を持って毎秒100トークンを超え、バッチに対してほぼ線形にスケールします。192 GB容量は1枚のカードで180BモデルをFP8で保持し、70BをFP16で相当なKVヘッドルーム付きで保持するため、多くの配備からテンソル並列を排除します。コストは価格と1000 Wの熱枠。Blackwellがもっとも明快に元を取るのは、H100が毎リクエストで帯域か容量の天井と戦っていたワークロードです。

3.3 L40SとMI300Xはワークロードの形状で選ぶカード

L40SはデータセンターパートでなくてもよいワークロードのためのAda世代カード。48 GBのGDDR6、0.86 TB/sの帯域、H100のHBMスループットのおおよそ4分の1 — しかし価格は3分の1、標準PCIeフォームファクタ。小規模モデル(13B程度まで)、非同期バッチワークロード、あるいはデータセンターHGXシャーシが使えないエッジ配備には、L40Sが正解で、そこでH100を買うのは無駄です。AMD MI300Xは反対の極 — 192 GBのHBM3、5.30 TB/sの帯域、OAMで1307 BF16 TFLOPs。生のサービング指標ではH200と競合し容量では優位、帯域律速のデコードでほぼ互角、そして単価は明らかに低い。トレードはソフトウェアスタック — ROCmはCUDAとのギャップの大半を埋めたものの完全ではなく、成熟したエンジン(vLLM、TensorRT-LLM、SGLang)はNVIDIAでより実戦経験を積んでいます。ROCmの熟練を持つチームにはMI300Xがコストレバー、そうでないチームにはH200が安全な買い物です。

覚えておきたいこと: データシートはこの順で読む。VRAM(モデルが入るか?)、HBM帯域(デコードはどれだけ速いか?)、FP8/FP4対応(量子化で何を買い戻せるか?)、その後にFLOP/s。逆の順(マーケティングの順)で読むと、間違ったカードを買うことになる。

第3章が敷いたもの

GPUスペックシートを帯域とVRAMのレンズで読み直したら、次の自然な問いは、汎用GPUがそもそも正しい基盤かどうかです。第4章は専用シリコンの選択肢 — GroqのLPU、AWS Inferentia2、GoogleのTPU v5pとv6、IntelのGaudi 3 — を歩きます。それぞれ、LLM推論は目的特化のチップを正当化するほど規則的だという主張です。第5章はソフトウェア側でトークンあたりの帯域を直接縮める動き — FP16からFP8、FP4への量子化 — に移ります。これは帯域律速のワークロードのボトルネックそのものを動かします。

次回 — 第4章: 専用AIシリコンとASIC。 目的特化のアクセラレータ — Groq、Inferentia2、TPU、Gaudi 3 — と、それらがレイテンシまたはトークン単価でGPUを打ち負かす領域。

全体像を押さえたい方へ: 書籍版にはMSRPとTDPを含むスペック比較表、VRAM天井がマルチGPUを強いる際のテンソル並列の算術、ベンチマークで誤解されがちなSXM対PCIeの区別、そしてLLMサービング用にスペックシートをどう読むかの「In Plain English」サイドバーが収録されています。Amazonで『LLM Primer VI』を見る →