LLM入門
このページでは、AI技術に関心のある方のために、LLM（大規模言語モデル）の基礎から応用までをわかりやすく解説します。
合計 3 件の記事があります。 |
現在 1 ページ中の 1 ページ目です。
第12章 — 分離型サービングとKubernetes
『LLM Primer VI』ウォークスルー第12回。プリフィルとデコードを別GPUプールに分割し、KVキャッシュをNVLink/InfiniBand上で運ぶ。ポッドを正しい側に留めるKubernetesのプリミティブ。
2026-05-04
第9章 — 投機的デコード
『LLM Primer VI』ウォークスルー第9回。自己回帰の逐次ボトルネックには数学的な抜け穴がある。安価な推測と少し広い検証パスで、ターゲットモデルが1トークン分の実時間で数トークンを生む。
2026-05-01
第7章 — 高度なバッチング戦略
『LLM Primer VI』ウォークスルー第7回。バッチングは最適化ではなく、帯域律速のデコードを成立させる唯一の動き。バッチは名詞ではなく動詞である。
2026-04-29