第12章 — LLM の実世界応用

LLM Primer II: 数学で読み解く言語モデル を章ごとに紹介していくシリーズ、第12回です。第Ⅳ部の幕開けとなる章で、ここから本書は「どう作り、どう測るか」から、「実際にこの機械は何をしているのか」へと、視点をそっと移していきます。これまで積み上げてきた数学のレンズで、皆さまもおそらく日々お使いの応用を、もう一度静かに眺め直す章です。

この章の問い

第12章は、ちょっと変わった形をしています。新しい数学はひとつも出てまいりません。多くの読者の方がすでにお使いの応用を、ひとつずつ取り上げて、それぞれについて、これまでの 11 章ぶんの数学が、「なぜそのように動くのか」「なぜ時として失敗するのか」「改善の余地は本当にどこにあるのか」を、何と告げているかをご一緒に確かめていきます。

あえて短い章にしています。数学さえ底に見えてしまえば、応用は、いかなるユーザ向けの説明よりも、ずっと自然に腑に落ちるからです。

ひとことで言うと: LLM の応用が多彩なのは、機構が多彩だからではなく、文脈と訓練データが多彩だから。フォワードパス一回、次トークン分布ひとつ、サンプリング一回。多様さは「プロンプト」と「データ」のなかにあり、モデルが何をしているかのなかにはない。

12.1 テキスト生成と要約

12.1 節では、LLM のもっともなじみ深い 2 つの用途を取り上げて、これらが数学的にはプロンプトが違うだけの、同じ仕事であることを、丁寧に確かめていきます。

生成とは、これまでに組み立てられた文脈に条件づけられた次トークン分布から、1 トークンずつ標本を引いてくる手続きです。要約は、その文脈が長い文書であり、プロンプトが「もっと短い版を書いてください」と告げているだけのこと。別建ての「要約用アーキテクチャ」というものはありません。モデルがしていることは終始一貫していて、ただ次トークンを予測している。何を予測すべきかを告げるのは、プロンプトだけです。

この事実は、いくつかの帰結を呼びます。要約がしばしば幻覚を起こしてしまうのは、モデルが「文書内に書いてある」と「文書に矛盾しない」を区別する内部メカニズムを、そもそも持っていないからです。温度や top-p — 第4章でていねいに導出し直したあのつまみ — が、フィクションの色合いと同じくらい、要約の色合いも変えてしまうのも、根は同じところにあります。

そのうえで、本節は制約デコーディングを紹介します。妥当な JSON、文法、正規表現、関数シグネチャといった構造上の規則に従う出力だけを許す手法群です。数学はささやかですが、なかなか優美です。各トークンの段階で、制約に違反する候補の確率をマスクで 0 に落とし、残ったものから標本を引く。モデルに即興させる仕掛けが、そのまま手綱を引く仕掛けにもなるのです。

そしてコード、ツール、エージェントループにも触れます。モデルの出力をいったん受け取り、外で実行し、その結果を次のステップの文脈に差し戻す — Book IV では一冊まるごとを費やすことになる構造です。数学はこの章のうちに、工学は次の本のうちに、それぞれ控えめに置かれております。

12.2 質問応答、翻訳、推論

12.2 節では、外見上はかなり別物に見える 3 つの応用を取り上げて、それらがまた、衣装が違うだけの同じ機械であることを確かめていきます。

質問応答は、文脈(質問、ときには検索された文書)に条件づけられた生成で、もっとも確からしい続きが「答え」であるという形で成り立っています。本章では、クローズドブック版(モデルの知識のみ)とオープンブック版(検索付き、Book III の主題)が、数学的にどう違うかを丁寧に見ます。変わるのは「条件づけ」だけで、モデルそのものは変わりません。クエリと文書をベクトルに埋め込み、内積で最近傍を引く — 第3章の幾何学が、ちょうどオープンブック版を支えてくれます。

翻訳は、文脈がある言語の一文で、もっとも確からしい続きが別の言語での同じ文になっているような生成です。数学は同一です。翻訳が動くのは、対訳テキストが学習データに十分含まれていて、2 言語の同時分布がきちんと表現されているからにほかなりません。

推論のところは、ことのほか丁寧に書いてございます。思考の連鎖(chain-of-thought)プロンプティング — 答える前に推論ステップを書き出してもらう手法 — は、本書がここまでそっと積み上げてきたひとつの数学的事実によって働きます。モデルが書く各トークンは、その先のステップの文脈に組み込まれます。つまり、途中の手順を書き下すこと自体が、その後ろのステップに、文字通りより多くの計算を許すことになります。推論は、生成に外付けされた別の能力ではございません。長く、適切な構造のもとで行われる生成から、さりげなく浮かび上がってくる帰結なのです。

本節の最後では、同じ「トークンと文脈」の機械が、画像・音声・動画といったテキスト以外のモダリティにもそっと一般化していくさまをご紹介します。マルチモーダルモデルが働く数学的な理由は、テキスト生成が働く理由と同じです。トランスフォーマは、そもそも自分が「テキスト」を読んでいることを知りません。

覚えておきたいこと: 新しい応用に出会ったとき、まずこう尋ねてみてください。文脈は何か、次トークン分布はどんな形をしていそうか、そこからどんな失敗が予言できるか、温度・プロンプト・検索ソースを変えたら答えはどう動くか。第12章は、この問いの立て方が手に馴染んだかどうかを、そっと確かめる章でもあります。

この章を踏まえて

第12章を読み終えるころには、第11章の終わりに手にしていただいた道具立てを、4 つの実応用に対して使ってみた感触が、お手元に残るかと存じます。ここから本書は、もっと正直な話 — 数学・データ・計算を増やしたところで、それでは解けない限界 — へと、視点を移してまいります。

次回 — 第13章: 限界、リスク、未解決の課題。 正直な章です。この分野の進める方向を制約してくるエネルギーと計算の天井。データとともに膨らむバイアス。数学だけでは答えられない倫理の問い。そして、これから取り組まれるのを待っている問題のリスト。

全体像を押さえたい方へ: 本書ではそれぞれの応用について、具体的な手計算の例、数学が予言する失敗様式、そして現場が経験的に落ち着いた対処法を、控えめにまとめています。Amazonで『LLM Primer II』を見る