LLM Primer VI — シリーズ序文と目次

LLM Primer VI: AIシステムのスケーリング を章ごとに紹介していくウォークスルーの序文。LLM推論を、メモリ帯域とスケジューリングとドル記号が交錯する工学領域として扱う巻です。

なぜこのシリーズがあるのか

1時間4〜8ドルで借りるH100は、BF16で989 TFLOP/sの演算能力を持ちます。そのチップの上で、70Bモデルに対して1人のユーザーが1つの応答をリアルタイムに生成しているとき、消費される演算はそのうちおよそ0.34パーセントに過ぎません。チップの99.7パーセントは遊んでいる — 仕事が小さいからではなく、仕事がメモリ帯域律速で、HBMが重みを流し込む間、演算ユニットにやることがないからです。推論エンジニアリングとは、その遊んでいるユニットに仕事を見つける規律です。バッチング、KVキャッシュの会計、量子化、投機的デコード、スケジューリング、そして最終的にはプラットフォーム、オーケストレーション、コストの規律。この巻に登場するあらゆる技法は、同じ動きの変奏です。ユーザーが実際に感じるレイテンシを壊さずに、帯域律速の無駄をスループットに変換する。

本書をひとことで言うと: LLMサービングとは、帯域律速のデコードループ、小さなデータベースほどの大きさのKVキャッシュ、そしてトークンごとの請求書 — この三つが組み合わさって、プロダクトが実トラフィックとの接触に耐えられるかを決めてしまう、システム工学の問題である。

誰のために書いたか

スケール環境でLLM推論を所有するプラットフォームエンジニア、SRE、インフラアーキテクト — レイテンシが跳ねればページが飛んでくる人たち、予算行に「GPUプール」が載っている人たち、先月の請求が倍になった理由を財務に説明しなければならない人たち。加えて、モデルを訓練し終えていまサービングを求められているMLエンジニア、そしてある日突然、チームで最も推論に近い立場になったバックエンドエンジニアにも向けて書きました。分散システムとコンテナは前提としますが、GPUの内部構造やTransformerのメモリパターンには習熟を求めません。そこは第一原理から積み上げます。

読み方

全16章は6つのパートに分かれます。第1章と第2章がワークロードそのものに名前をつけます — 自己回帰ループとKVキャッシュ。第3章と第4章は、それを走らせるシリコンをH100からGroqのLPUまで歩きます。第5章と第6章は、モデル側の圧縮 — 量子化、プルーニング、蒸留 — を通して帯域負担を減らします。第7章から第9章は、遊休時間を隠すランタイム技法 — バッチング、ページ化KV、投機的デコード — を扱います。第10章から第13章はサービングスタック — エンジン、プラットフォーム、分離型サービング、オートスケーリング — でそれらの技法をサービスに変えます。第14章から第16章はお金の話 — トークン経済、セルフホスト対API、そして効いてくるコスト削減の打ち手。順に読んでも、話題ごとに拾い読みしてもかまいませんが、機構優先のフレーミングは第1章と第2章に依存します。

16章のウォークスルー

2026年4月23日から5月8日まで、1日1章のペースで公開していきます。各記事は章の重要ポイント3つを5分ほどで読める分量に凝縮し、動く例、コード、「In Plain English」サイドバーは書籍側にあります。

4月23日 — 第1章 — トークン生成のメカニズム。 自己回帰ループ、プリフィルとデコードの違い、そして1人のユーザーがH100を99.7パーセント遊ばせる理由。
4月24日 — 第2章 — KVキャッシュという課題。 メモリ算式、MHA/GQA/MQAのトレードオフ、そしてナイーブな割当が同時実行数を壊す理由。
4月25日 — 第3章 — 生成AI向けのデータセンターGPU。 H100、H200、B200、L40S、MI300X — FLOPsではなく帯域とVRAMのプロファイルとして読み解く。
4月26日 — 第4章 — 専用AIシリコンとASIC。 GroqのLPU、Inferentia2、TPU v5p/v6、Gaudi 3 — ASICが勝つ場面と負ける場面。
4月27日 — 第5章 — 量子化を解き明かす。 FP16 → INT4がスループットを4倍にする理由、AWQ、GPTQ、SmoothQuant、GGUFの実体。
4月28日 — 第6章 — プルーニングと知識蒸留。 Hopperの2:4スパース性と、教師のソフトラベルが小さな生徒モデルへ流れ込む仕組み。
4月29日 — 第7章 — 高度なバッチング戦略。 静的バッチングから反復単位の連続バッチングへ、そして連続バッチングが作り出す借金。
4月30日 — 第8章 — 次世代のKVキャッシュ管理。 PagedAttention、H2Oエビクション、InfiniGen、そしてプレフィックスキャッシュの経済圏。
5月1日 — 第9章 — 投機的デコード。 ドラフト、検証、そして投機が割に合う条件の算術 — EAGLE、Medusa、MTP。
5月2日 — 第10章 — LLMエンジン層。 vLLM、TensorRT-LLM、SGLang、TGI、Ollama — ベンチマークではなく機構でエンジンを選ぶ。
5月3日 — 第11章 — プラットフォームとオーケストレーション層。 Ray Serve、KServe、BentoML、Triton — どのプラットフォームがどの運用文化と合うか。
5月4日 — 第12章 — 分離型サービングとKubernetes。 プリフィルとデコードを別のGPUプールに分け、Kubernetesのプリミティブでそれを表現する。
5月5日 — 第13章 — オートスケーリングとコールドスタート対策。 HPAがLLMに向かない理由、そしてKEDA、Knative、CRIUで5秒以下のコールドスタートを組む。
5月6日 — 第14章 — トークン経済とAPI価格。 出力が入力より高い理由と、見えない推論トークンが請求書に忍び込む仕組み。
5月7日 — 第15章 — サーバーレスAPI vs 専用インフラ。 損益分岐の算術と、多くのチームが甘く見るプラットフォームエンジニアリングの行。
5月8日 — 第16章 — 本番環境でのコスト削減戦略。 ルーティング、コンテキスト圧縮、バッチAPI、セマンティックキャッシュ — 効いてくる打ち手。

本シリーズにおける位置づけ: 第I〜IV巻はTransformerの機構、RAG、エージェント、マルチモーダルを積み上げた。第V巻は、確率的な核を決定論的なラッパーで包むアプリケーションレベルの工学を歩いた。第VI巻はそのラッパーの下の層 — モデル呼び出しそのものを、ラッパーが経済的に成り立つほど速く安く提供する方法。第VII巻はAIセキュリティでシリーズを閉じる。脅威モデリング、ガードレール、そしてこれら全てをどう配備するかを規定しつつある規制。

本書とシリーズについて

LLM Primerシリーズは全7巻、Amazon KDPで刊行し、章ごとにレシートローラーのブログで紹介しています。LLMで作ることはシステム工学の規律であり、その規律はチェックリスト形式ではなく、スタックの各層を機構優先の散文で歩くことによって最もよく学べる、という立場でシリーズを書いています。第VI巻はインフラの巻 — LLM機能が実トラフィックと財務レビューを生き延びるために、ハードウェア、ランタイム、プラットフォームについて何が真でなければならないか、という問いに層ごとに答える1冊です。

全体像を押さえたい方へ: 書籍版には、キャリブレーションと連続バッチングを動かせるPython、KServeとGroveのYAML、そしてウォークスルー記事では要約に留めた「In Plain English」サイドバーが完全な形で収録されています。Amazonで『LLM Primer VI』を見る →