第13章 — 限界、リスク、未解決の課題

LLM Primer II: 数学で読み解く言語モデル を章ごとに紹介していくシリーズ、第13回です。数学を「仕組みの説明」に使ってきた本書が、ここでは数学を「天井の見え方」のほうへ向け直す章です。計算でも電力でも、もう少し押し上げられない場所がどこにあるのか — そんな話を、ご一緒に辿ります。

この章の問い — 数学を、反対側から使う

第II部から第IV部のはじめまでは、数学を「どうしてうまくいくのか」を説明するために使ってきました。第13章はその数学を、反対側に向けます。「どこから先は、もう計算量を増やしても伸びにくいのか」「どこから先は、そもそも計算で扱える種類の問題ではないのか」。

限界を扱う章は、AIの本では「倫理のチェックボックス」として軽く流されがちかもしれません。本書のこの章は、そうした扱いをしておりません。スケールに伴って何がいくらかかるのか、バイアスは数学のどこから入り込むのか、そして数学では原理的に決められない問いがどれなのか — それぞれを、ていねいに切り分けようとする章です。

13.1 モデルサイズ、計算コスト、エネルギーの制約

13.1節は、「このまま大きくし続ければよいのか?」という問いに、数字で答えます。

最先端モデルの学習費用は、いまや計算コストだけで九桁台に乗っています。第8章のスケーリング則は、能力をもう一桁分引き上げるために必要な計算量を、おおむね二桁分の増加として予測します。そのまた二桁先となると、学習費用は小国のGDPに匹敵する金額になっていきます。本書は、ここをきちんと数字で押さえてくださいます。

エネルギーの話も、同じ景色をジュールに翻訳しただけです。大規模モデル一本を学習させるデータセンターの消費電力は、小さな都市一つ分に近い。モデルを倍にすれば、消費は倍(あるいはそれ以上)に膨らむ。一回の学習で物理的にどれだけの電気を引っ張ってこられるか、その限界に、先端ラボはすでに触れているという指摘がございます。

そのうえで章は、もう一段難しい問いに進みます。では、どうするのか。本書はここで安易に答えを出しません。応答の三つの系統 — 「より良いアルゴリズム」(これが第7章の話でした)、「より良いハードウェア」、そして「ゴールポストの置き直し」(『次に必要な一桁』が、本当に私たちの欲しいものなのかを問い直す) — を、それぞれの限界とともに並べていきます。

13.2 バイアス、倫理、社会への影響

13.2節は、この章の後半であり、より長い半身でもございます。バイアスをまずは数学的な現象として捉え、その土台の上で、倫理の会話を組み立てる、という順序になっています。

バイアスがパイプラインのどこから入るのか。学習データは人間の書いたテキストの標本であり、その人間の書き物自体が、集団・視点・時代について一様ではありません。第3章で扱った最尤学習は、与えられたデータの経験分布をモデルにきちんと写し取らせます。あるグループが過小に表れていれば、モデルもそれを過小に出します。ある職業がある属性に偏って結びついていれば、モデルもその結びつきを再生します。数学はそれを「バイアス」とは見ません。数学にとっては「与えられた分布への正しいフィット」でしかない、という点を、本書は穏やかに、しかしはっきりと記しています。

そのうえで、緩和策に話が移ります。データの選別。再重み付け。デコードへの制約。明示的な公平性信号を入れたRLHF。どの手も、数学の側にコストを払わせます。そしてどの手も、根っこの事実 — モデルは学んだデータの鏡であり、データは人間が作ったもの — を消すことはできません。

その上に乗る倫理の会話 — 「何をバイアスと呼ぶのか、誰がそれを決めるのか」「ある失敗様式によって、どなたが傷ついていらっしゃるのか」「制約を設定する権限は、どこにあるのか」 — は、本書がはっきりと「数学の問いではない」と断る場所でございます。政治や社会の問いとして扱うべきものを、方程式で包み直そうとするのは、それ自体がひとつの誤りである、という線の引き方を、章は隠さずに置いてくださっています。

章の終盤は、さらに広い社会への影響に触れます。労働、著作権、誤情報、監視。それぞれについて、「数学が示すこと」「数学に入っていないこと」「誰が判断しているのか」を、同じ誠実さで並べていく構成です。

この章のかたち — あえての置きどころ

この種の章は、ときに「数学は気にしない」と懸念を退けるか、あるいは「だからスピードを落とすべきだ」と全面降伏するか、どちらかに寄ってしまいがちです。本書はそのどちらも取りません。第III部・第IV部で続けてきた姿勢のまま、数学が及ぶところは数学で書き、及ばないところは境界をはっきり引いて止まる、という抑制した進め方を、最後まで貫いてくださっています。

第8章が「理論ではまだ説明しきれていないこと」を認めた章だとすれば、第13章は「理論には原理的に説明できないこと」を、静かに認める章であるように思われます。

この章を踏まえて

第13章を読み終えると、この技術が何をできて何をできないのか、どれだけのコストを払って、そのコストをどなたが負担しているのか、どの判断が数学的でどの判断が社会的なのか — その輪郭が、ぐっと正直なものになっていきます。ここまでくれば、本書はあと一章を残すのみです。理解を実務に橋渡しする、エンジニアのための章へと、最後に向かわせていただきます。

次回 — 第14章: エンジニアのための実践的知識。 全14章の歩き読みも、いよいよ最終回です。本書を読み終えたあと、どのようにご自身の理解を深めていくか。数学を実際の仕事に橋渡しするためのツールとライブラリ。そして、LLM Primer シリーズのほかの巻 — RAG、MCP、実応用、スケール、セキュリティ — へと、同じ機械を別の入口から眺める道のご案内です。