第4章 — 専用AIシリコンとASIC
LLM Primer VI: AIシステムのスケーリング を章ごとに紹介していくウォークスルー、第4回。GPUかASICかの選択はワークロード形状の問題であり、その形状を提示する章です。
なぜこの章があるのか
GPU派は、LLM推論は密行列積問題の広いクラスに属する1つのワークロードであり、プログラマブルなアクセラレータが正しい基盤だと論じます。ASIC派は、推論は具体的で規則的で予測可能なため、目的特化のチップが汎用のチップを、レイテンシとトークン単価という重要な2指標で打ち負かせると論じます。両陣営とも、自分たちが選ぶワークロードについては正しい。第4章は2026年時点でデータセンターGPUの本番級対抗馬となるASIC — GroqのLPU、AWS Inferentia2、Google TPU v5pとv6、Intel Gaudi 3 — を歩き、それぞれが勝つ領域と、エンジニアをGPUに引き戻す失敗モードに名前をつけます。
4.1 GroqはHBMを排除してレイテンシを決定論的にする
Groq LPUは本番アクセラレータ市場で最もアーキテクチャ的に際立ったチップです。HBMを持たない。モデル全体がコンパイラでスケジューリングされたオンチップSRAMに載り、それが多くのチップにわたって決定論的なオンパッケージネットワークで接続されます。動的なメモリ割当もなく、カーネル起動オーバーヘッドもなく、スケジューリングジッタもない。同じ入力を何度実行しても、まったく同じナノ秒数で同じ出力が出ます。そこから帰結する指標は、GPUには近づけないデコードレイテンシです。70Bモデルで1リクエストあたり毎秒200〜500トークン、対してH100は30〜80。アーキテクチャ的なコストはモデルサイズ — SRAMはチップあたり数百MBに束縛されるため、70Bモデルは250チップ以上のGroq TSPインターコネクトで接続されたラックを必要とし、ラックが配備単位となります。そのラックの元を取れるワークロードは、200 ms以内の会話予算を持つ音声アシスタント、対話型コード補完、金融シグナル生成 — ユーザーが1ミリ秒を感じる場所です。
4.2 Inferentia2とTPUはモデルが安定していればコストで勝つ
AWS Inferentia2とGoogle TPU v5p/v6は別の指標 — 100万出力トークンあたりのドル — を攻めます。両者とも定常状態のバッチ化サービング用に目的特化されており、モデルのポートフォリオが狭く、レイテンシ予算が緩く、GPU比40〜60パーセントのコスト削減が再プラットフォーム化コストを上回るほどの高ボリュームを想定しています。InferentiaはNeuron SDKを露出しvLLMを公式AWSコンテナ経由で走らせます。コンパイルステップは初回ロードが重く、以降はキャッシュされる。TPUはJAX/XLAを露出しVertex AI Inferenceエンドポイントで走ります。どちらのプラットフォームも、日々同じ形のワークロード — 翻訳、モデレーション、埋め込みパイプライン、安定コーパスでのRAG — を報い、モデルアーキテクチャを頻繁に変えるワークロードを罰します。コンパイル後キャッシュのパスは、モデル入れ替えごとの税だからです。規律は、1つを選んで標準化すること。本番規模で両者を並行運用するのは、再プラットフォーム化税の二重取りです。
4.3 Gaudi 3はEthernetファーストの賭け、GPUはフロンティアを勝ち続ける
Intel Gaudi 3は別の構造的賭けをします。独自インターコネクト(NVLink、ICI、TSP)ではなく、200/400 GbEのコモディティEthernetをチップ間通信に用い、Ethernetネイティブなスケールアウトが大規模配備の運用コストを下げると賭けています。ソフトウェアはHabanaのSynapseAIとPyTorch Lightning統合、そして着実に改善するvLLM対応。Gaudi 3はH100とMI300Xに対して積極的に価格付けされ、「新しいインターコネクト層なしにASIC経済を得たい」チームのための「移行摩擦の少ないコストレバー」に着地します。これら全てに対して、GPUは1つの領域で勝ち続けます。モデルの多様性、フロンティアスケール、そして実験です。405Bクラスのモデル、公開されたばかりのフロンティアアーキテクチャ、カスタムファインチューン版、研究論文のカーネルを走らせる場所ではどこでも、CUDAのエコシステム深度とNVIDIAの先発性が元を取ります。ヒューリスティックは「カーネルの問い」— スタックが標準のFlashAttentionと標準の融合MLPカーネルだけを走らせ他に触れないなら、ASICは候補。スタックがチームの誰かが書いたカーネルを走らせるなら、GPUが安全な買い物です。
第4章が敷いたもの
第3章と第4章で、現状のハードウェア基盤を記述しました。市場に出ているどのカードも、HBM帯域に束縛される(GPUデコード)か、そこから再設計して離脱している(Groq)か、安定ワークロード向けに帯域を積極価格付けしている(Inferentia、TPU、Gaudi)。第5章は、トークンあたりの帯域負担を直接縮めるソフトウェア側の動き — FP16からFP8、FP4への量子化 — に移ります。Blackwellへのアップグレードで得られるゲインと、既存モデルをFP8に量子化して得られるゲインは、機構的には同じレバーをスタックの異なる層で引いたもの、そして通常は両方同時に適用されます。
次回 — 第5章: 量子化を解き明かす。 BF16からFP8、INT4への精度低下、大きなモデルがそれを生き延びる理由、そして実運用に耐えるキャリブレーションのワークフロー。
