1.4 線形代数の感覚をつかむ：ベクトルと空間のイメージ
大規模言語モデル（LLM）は、私たちが入力する「単語」や「文章」をそのまま処理しているわけではありません。 そのすべてはまず「ベクトル」と呼ばれる数の並びに変換され、数値として計算されます。
言い換えれば、LLMにとって“言葉”とは、“点”や“方向”で表された数のかたまりなのです。 この「意味のある数列」をどう使っているかを理解することが、LLMの仕組みをつかむ鍵になります。
ベクトルとは？
ベクトルとは、複数の数値を1つの並びとして持つデータ構造です。 たとえば「apple」という単語が、次のようなベクトルで表現されているとします：
apple = [0.23, -1.02, 0.77, ..., 1.41]
この数列はランダムではなく、「apple」という単語の意味や使われ方をモデルが学習した結果として構成された“意味の座標”です。
単語の意味は「距離」で測れる
ベクトルには、距離や角度を計算する仕組みがあります。これにより、単語同士の「意味の近さ」を定量的に測ることができます。
- 「king」と「queen」…距離が近い → 意味が似ている
- 「apple」と「car」…距離が遠い → 意味が異なる
このように、単語たちは“意味空間”の中で点として配置されていると考えるとわかりやすくなります。
ベクトル演算で意味の操作もできる
ベクトルの面白さは、足し算や引き算ができることです。
king - man + woman ≈ queen
これは、「男性的な成分を引いて、女性的な成分を加えることで“女王”という意味が浮かび上がる」という例です。 こうした意味操作が可能なのも、LLMがベクトル空間で言語を扱っているからです。
ベクトルはLLMの言語処理エンジン
- 埋め込み（Embedding）：入力された単語をベクトルに変換する
- 数値計算：そのベクトル同士を使って「次に来る単語」などを予測
- 出力もベクトル：最終的に生成される文章も、ベクトルから再構成される
意味の分布図（イメージ）
（ここにイメージ図：「cat」「dog」「lion」などが近くに、「car」や「table」が離れて配置されている様子）
まとめ：LLMにとって言葉は「点」
- 単語はベクトルで表される
- ベクトル空間で意味の近さ・違いを数値で扱える
- ベクトル同士の演算により、意味の操作が可能
このように、LLMの中では「意味」がすべて数値に置き換えられ、空間の中で動いています。 数学、特に線形代数は、言葉を扱うこのAIの“言語エンジン”にとっての中核なのです。
もっと詳しく学びたい方は、Kindle書籍『LLM入門：数学で理解する、大規模言語モデルの仕組み』にて、数式や図解つきでしっかり解説しています。
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。カテゴリー
検索履歴
チーム
任 弘毅
株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。