LLMの構成要素とは？｜LLM入門 2.2｜トークン・ベクトル・パラメータで理解する内部構造
大規模言語モデル（LLM）は、外から見ると「人間のように文章を生成する頭の良いAI」に見えますが、その内部では無数の数学的処理が並列に走っています。 このセクションでは、LLMの内部構造を支える重要な要素──トークン化、埋め込み、パラメータ、アーキテクチャ──について紹介します。
トークン化：言語を分解してID化
モデルは日本語や英語をそのままでは理解できないため、「トークン」と呼ばれる単位に分解します。
例：「私はAIが好きです」 → ["私", "は", "AI", "が", "好き", "です"]
各トークンには一意のIDが割り当てられ、モデルはそのID列を処理します。
サブワード単位で分割することで、未知語にも対応できるのが特徴です（BPEやSentencePieceなどの技術が使われます）。
埋め込み（Embedding）：単語を数値ベクトルに変換
トークンIDを、その意味や文法的な役割を含む「ベクトル」に変換する処理が埋め込みです。
例えば：
| 単語 | ベクトル（例） |
|---|---|
| 犬 | [0.2, 0.5, -0.1, 0.9] |
| 猫 | [0.1, 0.4, -0.2, 0.85] |
| 車 | [-0.8, 0.3, 0.7, -0.1] |
意味の近い単語同士は、ベクトル的にも近い位置に配置されることが多くなります。
パラメータ：学習によって得られた知識のかたまり
LLM内部には数十億〜数千億の「パラメータ（重み）」が存在し、それらが入力と出力の関係性を学習しています。
パラメータはモデルの予測精度を支える中核です。
アーキテクチャ：情報処理の設計図
トランスフォーマーに代表される構造が、LLMの処理全体を設計する「骨組み」です。
トークン → 埋め込み → セルフアテンション → 出力という流れを並列的に処理します。
LLMの“頭の中”はこうなっている
- 文章を細かく分解（トークン化）
- それぞれの意味をベクトルに変換（埋め込み）
- 注目すべき情報を選び出す（アテンション）
- 最適な出力を確率的に生成（予測）
要点まとめ
- トークン化： 単語や記号を最小単位に分割してID化
- 埋め込み： 各トークンIDを意味のあるベクトルに変換
- パラメータ： 学習で得られた重み。予測や文脈理解に活用
- アーキテクチャ： モデル全体の処理構造。トランスフォーマーが主流
LLM入門：数学で理解する、大規模言語モデルの仕組み: 機械が言葉を理解する数学的な理由 (LLMマスターシリーズ)
機械が言葉を理解するのは、なぜか？――その“数学的な理由”を、やさしく、でも本質的に解き明かす一冊。ChatGPTをはじめとするLLM（大規模言語モデル）が、いかにして自然言語を理解し、生成しているのか？本書はその仕組みを、数式と直感をバランスよく交えて、深く、わかりやすく解説します。
このセクションでは、LLMがどのように曖昧な「言葉の意味」を構造的・数値的に処理しているかの基礎を学びました。 次「2.3 自然言語処理（NLP）の概要」は、こうした構造が実際にどんな応用に使われているか、自然言語処理（NLP）のタスクを通じて見ていきましょう。
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。カテゴリー
検索履歴
チーム
任 弘毅
株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。