1.1 数式に慣れる：記号と式の意味
LLM（大規模言語モデル）の仕組みを深く理解するには、「数式の世界」を避けては通れません。 しかし、数式が苦手な方もご安心ください。ここでは、必要最小限の記号を「言葉の圧縮形式」として直感的に解説します。
ひとことで言うと
数式は「難しくするための呪文」ではなく、長い日本語の説明を一行に圧縮した符号である。読み方さえ覚えれば、LLMの内部処理はほとんど自然言語の文章と同じように追える。
数式は「難しくするための呪文」ではなく、長い日本語の説明を一行に圧縮した符号である。読み方さえ覚えれば、LLMの内部処理はほとんど自然言語の文章と同じように追える。
数式は“言葉の圧縮形式”
たとえば：
$$P(A|B)$$
これは「Bという条件のもとでAが起きる確率」を一瞬で示します。長い言葉を短い記号で効率よく表すツールが数式なのです。
よく出てくる記号一覧
| 記号・式 | 意味（直感的な説明） |
|---|---|
P(x) | $$P(x)$$ = xが起きる確率（例：次の単語が“猫”になる確率が 4%） |
P(A|B) | $$P(A|B)$$ = Bという前提でAが起きる確率（例：「犬が」のあとに「散歩」がくる確率） |
∑ | $$\sum P(w) = 1$$ 全単語の確率を合計すると 1 |
E[x] | $$E[x]$$ = x の期待値（例：単語の長さの平均） |
log P(x) | $$\log P(x)$$ = 情報量。起きにくいほど大きな値に |
式を読む目をつけよう
言語モデルの核心となる式：
$$P(w_t | w_1, \ldots, w_{t-1})$$
「これまでの文脈から次に来る単語の確率をどう計算するか？」を示しています。
要点まとめ
- 数式は言葉をコンパクトに伝えるツール
- LLMの動作は確率や期待値、情報量といった数式で記述される
P(x),∑,E[x],logなど、よく使う記号に慣れることが第一歩- 式を「読む力」を養い、次章の内容理解をスムーズに
- 数式は「思考の道具」であり、その裏にある意味をつかむことが大切
もっと詳しく
初見の式に出会ったら、まず「入力は何か」「出力は何か」だけを読み取ってみましょう。細かい添字や括弧は後回しでも構いません。この読み方に慣れると、論文や実装コードの理解速度が一気に上がります。
初見の式に出会ったら、まず「入力は何か」「出力は何か」だけを読み取ってみましょう。細かい添字や括弧は後回しでも構いません。この読み方に慣れると、論文や実装コードの理解速度が一気に上がります。
このページのコンテンツは下記の本から抜粋
LLM入門：数学で理解する、大規模言語モデルの仕組み
機械が言葉を理解するのは、なぜか？――その“数学的な理由”をやさしく、でも本質的に解き明かす一冊。
1,815円 (税込み)
次のセクション：1.2 確率論の基本と対話生成
