1.2 確率論の基本と対話生成｜LLMの次単語予測を学ぶ
1.2 確率論の基本と対話生成
大規模言語モデル（LLM）は、文章を「予測の連続」として処理しています。たとえば「今日は天気が」と入力すると、モデルは「いい」「悪い」「晴れ」など、次に続く候補を確率的に予測します。この章では、その背後にある確率論の基本を、対話生成の流れに沿って直感的に解説します。
なぜ確率なのか？
言葉は曖昧で多様。
「今日は天気が」→「いい」「悪い」「変だ」「気になる」…
どれも自然だけれど“正解”は一つではありません。LLMは「もっともらしさ」に応じて確率を割り当て、柔軟な応答を生み出しています。
単語はどう選ばれる？
文脈（すでに入力された単語列）を条件に、次の単語の確率を計算します。数式で表すと：
P(next word | context)例：
- P("晴れ" | "今日は天気が") = 0.62
- P("悪い" | "今日は天気が") = 0.18
- P("謎だ" | "今日は天気が") = 0.01
これらから「最も確からしい単語」か、ランダム性を加えた選択（Top-k sampling, Temperature制御）で応答が決まります。
自己回帰的生成（ステップ例）
- ユーザー：「今日は天気が」
- モデル予測：["いい":0.55, "悪い":0.25, "変":0.10, …]
- 選択：「いい」 → 「今日は天気がいい」
- この予測→選択を繰り返し、一文・一段落を生成
モデルの“迷い”を捉える
確率が偏るほど確信が高く、均等に近いほど“迷い”が大きい状態。次章の情報理論（エントロピー）で、ばらつきの度合いを定量的に測ります。
要点まとめ
- LLMは「次の単語」を条件付き確率で予測する
- 言葉の曖昧さには「確率での割当て」が有効
- 自己回帰的生成で一単語ずつ文章を構築
- 確率分布の偏りでモデルの確信度を把握
- Top-k sampling, Temperature制御で多様な応答を実現
LLM入門：数学で理解する、大規模言語モデルの仕組み: 機械が言葉を理解する数学的な理由 (LLMマスターシリーズ)
機械が言葉を理解するのは、なぜか？――その“数学的な理由”を、やさしく、でも本質的に解き明かす一冊。ChatGPTをはじめとするLLM（大規模言語モデル）が、いかにして自然言語を理解し、生成しているのか？本書はその仕組みを、数式と直感をバランスよく交えて、深く、わかりやすく解説します。
次のセクション：2. LLMの基礎概念
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。カテゴリー
検索履歴
チーム
任 弘毅
株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。