3.1 確率論と統計 - LLMにおける言語生成と予測の基礎

前のセクションでは、第３章の紹介として「数理モデルの基盤」を紹介しました。ここでは具体的に確立論と統計がどのようにつかわれるのか見てみましょう。

3.1 確率論と統計

確率論と統計は、LLM（大規模言語モデル）の背後にある数理的な基礎として非常に重要です。確率論は、LLMが次に来る単語や文の予測を行う際に不可欠な理論であり、統計は、モデルのトレーニングや性能評価において大きな役割を果たします。このセクションでは、n-gramモデルやマルコフモデルを中心に、確率的アプローチと統計的手法がどのようにLLMに関わっているのかを詳しく解説します。

3.1.1. n-gramモデルとマルコフモデル

まず、n-gramモデルとマルコフモデルは、確率的言語モデルとして、次に来る単語の予測に広く利用されています。

n-gramモデルは、過去n個の単語に基づいて次の単語を予測する手法です。たとえば、3-gramモデルでは、過去2つの単語に基づいて3番目の単語の確率を計算します。具体的には、次のように確率が計算されます：

\[ P(w_n | w_{n-1}, w_{n-2}, ..., w_{n-k}) \]

この式は、次に来る単語が過去のn個の単語にどのように依存しているかを示しています。n-gramモデルはシンプルで計算量が少なく、実装しやすい利点がありますが、nが大きくなると計算リソースが必要になり、またnが小さいと文脈を十分に捉えられないという課題があります。

一方で、マルコフモデルは「マルコフ性」という性質に基づいており、次の状態（単語）が現在の状態（単語）にのみ依存するという前提で確率を計算します。これにより、n-gramモデルに比べて簡潔な表現が可能で、直前の単語に基づいて次の単語を予測します：

\[ P(w_n | w_{n-1}) \]

このようにして、マルコフモデルでは単語の連続性を確率的に計算し、効率的に予測を行います。ただし、マルコフモデルもまた、長期の文脈を捉えるのが難しいという限界があります。

3.1.2. パラメータ推定と統計的手法

n-gramモデルやマルコフモデルでは、確率を推定するためにデータからパラメータを学習します。このパラメータ推定には、最大尤度推定（さいだいゆうどすいてい）（MLE）やベイズ推定などの統計的手法が用いられます。

• 最大尤度推定（MLE）： 観測されたデータに最も適合するパラメータを選び、モデルの予測を最大化する手法です。トレーニングデータに基づいて、モデルが次の単語を最も高確率で予測できるようにパラメータが調整されます。
• ベイズ推定： 観測データと事前知識を組み合わせてパラメータを推定する手法で、より柔軟な推定が可能です。ベイズ推定は、MLEに比べて、過学習を防ぐために特に有効です。

3.1.3. 過学習、交差検証、正則化

統計的手法は、モデルの学習だけでなく、モデルの精度や汎化性能（新しいデータへの対応力）にも関与します。特に、過学習を防ぐためには、交差検証や正則化といった手法が効果的です。

• 過学習： モデルがトレーニングデータに過剰に適合し、新しいデータに対して正しく予測できなくなる現象です。これを防ぐために、モデルのパラメータや構造を適切に制御する必要があります。
• 交差検証： データをいくつかの部分に分け、各部分を順番に検証データとして使用することで、モデルの汎化性能を評価する手法です。交差検証によって、トレーニングデータの偏りによる過学習を防ぎます。
• 正則化： モデルが複雑になりすぎないように、パラメータの大きさにペナルティを課すことで、過学習を防ぐ手法です。L1正則化（Lasso）やL2正則化（Ridge）が一般的に使用されます。L1正則化は、不要なパラメータをゼロにすることで特徴選択に寄与し、L2正則化はパラメータを全体的に小さく抑え、モデルの汎化性能を高めます。

n-gramモデルやマルコフモデルは、LLMの基本的な構造を支える確率的な手法です。これらのモデルはシンプルでありながらも、トレーニングデータに基づいて次の単語を予測する際に非常に有効です。また、過学習を防ぐための統計的手法やパラメータ推定技術も、LLMの精度向上に不可欠な要素です。これらの技術を理解することで、LLMの動作原理をより深く理解し、精度の高い予測や生成が可能となります。

次のセクションでは、「線形代数：ベクトル空間と埋め込み表現」について詳しく解説します。単語の埋め込みやベクトル空間に基づくモデルの表現について学びましょう。