第7章 — ハルシネーションと信頼性

『LLM Primer VII: AIセキュリティ』を章ごとに紹介していくウォークスルー、第7回。信頼性をセキュリティ的性質として扱う章 — 正しさが結果を左右する場面では、自信満々に間違った出力そのものがセキュリティ問題だからだ。

なぜこの章があるのか

ハルシネーションは元々、ソースに裏付けられない情報を含んだ出力を指す自然言語生成の用語だった。LLM に適用すると、現象は 2 つの有用な意味に分かれる。事実性の失敗 — モデルが確立された事実に反する場合。忠実性の失敗 — ユーザーの指示や与えられたコンテキストからモデルが逸脱する場合。両者とも重要で、それぞれ異なる仕組みを持つ。Ji らの 2023 年 ACM Computing Surveys のレビューと、同年の Huang らの分類法が、この分野に語彙を与えた。本章は信頼性をファーストクラスのセキュリティ的性質として扱う。モデル出力に基づいて行動するシステムは、出力が正しい範囲でしか安全ではなく、モデル自身には「知らないことを知らない」と気付く仕組みが組み込まれていないからだ。

7.1 ハルシネーションには気分ではなく仕組みがある

言語モデルは訓練目的が確率質量を置いた分布からサンプリングしてトークンを予測する。分布は訓練コーパス内の頻度、モデルの帰納バイアス、そして事後に適用されたアラインメント訓練に形作られる。いずれもデータベースクエリのように事実的正しさを選択する仕組みではない。事実性の失敗は、モデルが世界に反することを断言するときに起こる — 間違った日付、捏造された引用、存在しない関数シグネチャなど。忠実性の失敗は、モデルの出力がユーザーの意図や与えられたコンテキストから逸脱するときに起こる — 微妙に違う質問に答える、要約を頼まれた箇所の一部を無視する、長い応答内で推論が一貫しない、といった具合だ。両カテゴリは重なり合うが、必要な診断は異なる。仕組みには、長い生成で流暢さを正確さに引き換える次トークン力学、訓練データ分布における微細な事実の過少代表、「わからない」と言うのを抑制するアラインメント訓練、そしてモデルを真実よりももっともらしさへと押しやるプロンプトパターンなどがある。仕組みを理解して初めて、緩和は形式的ではなく的を絞ったものになる。

7.2 自信は正しさではない

キャリブレーションされた確率的システムは、宣言する確信度と実際の精度が一致する — 80% と言えば大きなサンプルの中で 80% 正解する。Guo らの 2017 年 ICML 論文「On Calibration of Modern Neural Networks」は印象的な結果を報告した — 現代のニューラルネットは体系的に過信している。80% と言うモデルは 65% 当たるかもしれず、99% と言うモデルは 88% 当たるかもしれない。仕組みはクロスエントロピー目的にある。正解クラスに質量を置くことに報酬を与える一方で、過信そのものにはペナルティを課さないからだ。より大きく表現力の高いモデルは訓練データによりぴったりフィットし、訓練と表面的に似たテスト例の上で分布を先鋭化させる。LLM ではこの問題はより顕著だ — 出力はトークン列であり、アラインメント訓練は精度を動かさずに確率を動かしうる仕方で分布を作り変え、ユーザーは自信ある文をモデルが理解している証拠として読むからだ。信頼性エンジニアリングが「モデル自身のシグナル」だけを信じられないのは、この自信と正しさのギャップに理由がある。

7.3 キャリブレーションとハイブリッド検証が運用面の解

キャリブレーション技法は訓練時と推論時に分かれる。同じ 2017 年論文で Guo らが導入した温度スケーリングが定番だ — 訓練後にソフトマックス前のロジットを割る単一スカラーを調整し、ホールドアウトセットでキャリブレーション誤差を最小化する。予測は変わらず、確率だけが変わる。言語化された確信度 — 回答と並べて確信度推定を出力させる — は 2022 年以降研究されており、ある程度は機能するが、モデルの述べる確信度はそれ自体が同じ分布圧力に晒される言語トークンでもある。自己一貫性サンプリングは複数の生成を出して多数決を取る。一致度は単一生成の確率よりも正しさとよく相関する。ハイブリッドアーキテクチャはさらに仕事をする。信頼性技法としての RAG は最も一貫して有効だった — Vectara HHEM リーダーボードは、事実要約タスクで裸の生成が 5% を超える一方、よく構成された RAG システムは 1% 未満のハルシネーション率で追跡され続けている。構造化検証パイプラインは出力を第2のモデルに通してソース文書に照らしてファクトチェックする。高リスク出力に対する人間参加型レビューは依然として最強の防御だが、業界がすでに名指しした 2 つの失敗モード — スケール時のゴム印レビューと、レビュアーがモデルの主張を検証するソース素材を持たないコンテキストなしレビュー — の影響を受ける。

第7章が敷いたもの

第8章は付随的な失敗モードから意図的なものへ移る — モデルを標的として扱い、運用者が意図しない方向へ出力を操作するために入力を構成する敵対的攻撃だ。本章は Goodfellow 2014 の FGSM から NLP 特化の HotFlip、TextFooler、BERT-ATTACK を経て、Wallace らの universal adversarial trigger、そして第4章で触れた Zou らの universal-suffix 系譜を辿る。次に API に対するブラックボックス攻撃とモデル窃取を辿る。Tramèr 2016 USENIX 論文から Carlini 2024 ICML 論文の本番埋め込み投影層抽出までだ。第9章はサプライチェーンで第III部を締める: バックドア入りモデル、safetensors 対 pickle、Sigstore 署名、そしてドリフト監視である。

次回 — 第8章: モデルへの敵対的攻撃。 離散入力空間における勾配ベース攻撃、API を通じたブラックボックス攻撃、そして機密性プラスセキュリティの懸念事項としてのモデル窃取について。