1.2 確率論の基本と対話生成
大規模言語モデル（LLM）は、文章を「予測の連続」として処理しています。たとえば「今日は天気が」と入力すると、モデルは「いい」「悪い」「晴れ」など、次に続く候補を確率的に予測します。この章では、その背後にある確率論の基本を、対話生成の流れに沿って直感的に解説します。
ひとことで言うと｜確率で次の単語を選ぶ
LLM（大規模言語モデル）は、文脈を条件にして「次に来そうな単語」に確率を割り当て、その分布から一つを選んで文章を組み立てていきます。
なぜ確率なのか？
言葉は曖昧で多様。
「今日は天気が」→「いい」「悪い」「変だ」「気になる」…
どれも自然だけれど“正解”は一つではありません。LLMは「もっともらしさ」に応じて確率を割り当て、柔軟な応答を生み出しています。
単語はどう選ばれる？
文脈（すでに入力された単語列）を条件に、次の単語の確率を計算します。数式で表すと：
P(next word | context)例：
- P("晴れ" | "今日は天気が") = 0.62
- P("悪い" | "今日は天気が") = 0.18
- P("謎だ" | "今日は天気が") = 0.01
これらから「最も確からしい単語」か、ランダム性を加えた選択（Top-k sampling, Temperature制御）で応答が決まります。
自己回帰的生成（ステップ例）
- ユーザー：「今日は天気が」
- モデル予測：["いい":0.55, "悪い":0.25, "変":0.10, …]
- 選択：「いい」 → 「今日は天気がいい」
- この予測→選択を繰り返し、一文・一段落を生成
モデルの“迷い”を捉える
確率が偏るほど確信が高く、均等に近いほど“迷い”が大きい状態。次章の情報理論（エントロピー）で、ばらつきの度合いを定量的に測ります。
押さえておきたいポイント｜押さえるべき3点
① 次の単語は条件付き確率で選ばれる／② 一単語ずつ生成を繰り返す（自己回帰）／③ Top-kやTemperatureで出力の多様性を制御できる。
要点まとめ
- LLMは「次の単語」を条件付き確率で予測する
- 言葉の曖昧さには「確率での割当て」が有効
- 自己回帰的生成で一単語ずつ文章を構築
- 確率分布の偏りでモデルの確信度を把握
- Top-k sampling, Temperature制御で多様な応答を実現
このページのコンテンツは下記の本から抜粋
LLM入門：数学で理解する、大規模言語モデルの仕組み: 機械が言葉を理解する数学的な理由 (LLMマスターシリーズ)
機械が言葉を理解するのは、なぜか？――その“数学的な理由”を、やさしく、でも本質的に解き明かす一冊。ChatGPTをはじめとするLLM（大規模言語モデル）が、いかにして自然言語を理解し、生成しているのか？本書はその仕組みを、数式と直感をバランスよく交えて、深く、わかりやすく解説します。
1,815円 (税込み)
次のセクション：2. LLMの基礎概念
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。
質問と回答
このトピックについて質問はありますか？以下からお気軽にどうぞ（登録不要）。担当チームが内容を確認し、回答します。
まだ質問はありません。最初の質問をどうぞ。