1.1 数式に慣れる：LLM理解のための記号と式の基礎

1.1 数式に慣れる：記号と式の意味

LLM（大規模言語モデル）の仕組みを深く理解するには、「数式の世界」を避けては通れません。しかし、数式が苦手な方もご安心ください。ここでは、必要最小限の記号を「言葉の圧縮形式」として直感的に解説します。

数式は“言葉の圧縮形式”

たとえば：

$P (A | B)$

これは「Bという条件のもとでAが起きる確率」を一瞬で示します。長い言葉を短い記号で効率よく表すツールが数式なのです。

よく出てくる記号一覧

記号・式	意味（直感的な説明）
`P(x)`	$P (x)$ = xが起きる確率（例：次の単語が“猫”になる確率が 4%）
`P(A\|B)`	$P (A \| B)$ = Bという前提でAが起きる確率（例：「犬が」のあとに「散歩」がくる確率）
`∑`	$\sum P (w) = 1$ 全単語の確率を合計すると 1
`E[x]`	$E [x]$ = x の期待値（例：単語の長さの平均）
`log P(x)`	$\log P (x)$ = 情報量。起きにくいほど大きな値に

式を読む目をつけよう

言語モデルの核心となる式：

$P (w_{t} | w_{1}, \dots, w_{t - 1})$

「これまでの文脈から次に来る単語の確率をどう計算するか？」を示しています。

要点まとめ

数式は言葉をコンパクトに伝えるツール
LLMの動作は確率や期待値、情報量といった数式で記述される
P(x), ∑, E[x], log など、よく使う記号に慣れることが第一歩
式を「読む力」を養い、次章の内容理解をスムーズに
数式は「思考の道具」であり、その裏にある意味をつかむことが大切

このページのコンテンツは下記の本から抜粋

LLM入門：数学で理解する、大規模言語モデルの仕組み

機械が言葉を理解するのは、なぜか？――その“数学的な理由”をやさしく、でも本質的に解き明かす一冊。

1,815円 (税込み)

Amazonで続きを読む

次のセクション：1.2 確率論の基本と対話生成

公開日: 2024-10-03

最終更新日: 2025-05-26

バージョン: 30

数式に慣れる

エントロピー

自然言語処理数学

下田昌平

開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。

カテゴリー

LLM入門：RAGで強化する生成

MCP入門：AIに文脈を理解させる技術

LLM入門 X 数学

LLM入門（上）実践Python

LLM入門（上）

LLM入門しくみから学ぶ生成AIの基礎

タグ

LLM 36 RAG 35 LLM 26 MCP 23 LangChain 18 Python 17 プロンプト設計 17 生成AI 17 自然言語処理 13 モデルコンテキストプロトコル 9

検索履歴

会話履歴 349 エンジニア向け 336 マルコフ連鎖 304 大規模言語モデル 303 自動要約 301 NLP トランスフォーマー 297 言語モデル 291 データ前処理 289 パーソナライズドコンテンツ 287 生成型要約 282 教育AI 281 注意メカニズム 281 数学的アプローチ 278 トークン化 275 ミニバッチ学習 272 セルフアテンション 268 LLM 要約 264 ロス計算 264 クロスエントロピー損失 263 LLM テキスト生成 262 バイアス問題 260 線形代数 260 GPT-2 テキスト生成 259 トレーニング 258 GPT テキスト生成 256 自動翻訳 256 自然言語処理翻訳 253 LLM リアルタイム処理 252 コード生成 249 GPT ファインチューニング 248

チーム

任弘毅

株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。

下田昌平

開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。