大規模言語モデル（LLM）は、私たちが入力する「単語」や「文章」をそのまま処理しているわけではありません。 そのすべてはまず「ベクトル」と呼ばれる数の並びに変換され、数値として計算されます。
言い換えれば、LLMにとって“言葉”とは、“点”や“方向”で表された数のかたまりなのです。 この「意味のある数列」をどう使っているかを理解することが、LLMの仕組みをつかむ鍵になります。
ひとことで言うと｜単語＝空間内の点
LLM（大規模言語モデル）は単語を数百〜数千次元の「ベクトル」に変換して扱います。似た意味の単語は近くに、意味の異なる単語は遠くに配置されます。
ベクトルとは？
ベクトルとは、複数の数値を1つの並びとして持つデータ構造です。 たとえば「apple」という単語が、次のようなベクトルで表現されているとします：
apple = [0.23, -1.02, 0.77, ..., 1.41]
この数列はランダムではなく、「apple」という単語の意味や使われ方をモデルが学習した結果として構成された“意味の座標”です。
単語の意味は「距離」で測れる
ベクトルには、距離や角度を計算する仕組みがあります。これにより、単語同士の「意味の近さ」を定量的に測ることができます。
- 「king」と「queen」…距離が近い → 意味が似ている
- 「apple」と「car」…距離が遠い → 意味が異なる
このように、単語たちは“意味空間”の中で点として配置されていると考えるとわかりやすくなります。
ベクトル演算で意味の操作もできる
ベクトルの面白さは、足し算や引き算ができることです。
king - man + woman ≈ queen
これは、「男性的な成分を引いて、女性的な成分を加えることで“女王”という意味が浮かび上がる」という例です。 こうした意味操作が可能なのも、LLMがベクトル空間で言語を扱っているからです。
ベクトルはLLMの言語処理エンジン
- 埋め込み（Embedding）：入力された単語をベクトルに変換する
- 数値計算：そのベクトル同士を使って「次に来る単語」などを予測
- 出力もベクトル：最終的に生成される文章も、ベクトルから再構成される
意味の分布図（イメージ）
押さえておきたいポイント｜なぜベクトル表現が便利か
距離や内積で「似ている度合い」を数値化でき、加減算で意味の関係（king − man ＋ woman ≒ queen など）まで扱えるため、言葉を計算対象にできます。
まとめ：LLMにとって言葉は「点」
- 単語はベクトルで表される
- ベクトル空間で意味の近さ・違いを数値で扱える
- ベクトル同士の演算により、意味の操作が可能
このように、LLMの中では「意味」がすべて数値に置き換えられ、空間の中で動いています。 数学、特に線形代数は、言葉を扱うこのAIの“言語エンジン”にとっての中核なのです。
もっと詳しく学びたい方は、Kindle書籍『LLM入門：数学で理解する、大規模言語モデルの仕組み』にて、数式や図解つきでしっかり解説しています。
