第17章 — 将来の脅威と新しい防御

『LLM Primer VII: AIセキュリティ』を章ごとに紹介していくウォークスルー、第17回にして最終回。既に書き下ろせる程度に成熟した規律の先を眺め、コミュニティがまだ考えあぐねている領域に名前を与える章 — 自律エージェント、マルチモーダル攻撃面、合成アイデンティティ、そして2026年半ばのAI対AIの軍拡競争、という章です。『LLM Primer VII: AI Security』。

なぜこの章があるのか

第1章から第16章までは、既に書き下ろせる程度に成熟したセキュリティの規律群を歩いてきた。第17章は、まだ形成途上のそれを歩く。この対比が重要だ。これまでの章は「やり方は分かっている。問題はあなたの組織がそれをやるか」に答えていた。この章は「良い姿がどんなものかコミュニティはまだ探っている。来年の答えは今年の答えと違うかもしれない」に答える。どちらの仕事も本物であり、どちらもエンジニアのレパートリーに属する。前者は今日、システムを安全に保つ。後者は二年後にそれを安全に保つ。

ひとことで言うと: エージェントの爆風半径はツールセットの大きさに許容ステップ数を掛けたもの。マルチモーダルモデルの入力面はテキストのみのそれより桁違いに大きい。そして防御者も攻撃者もいまや、それ自体モデルである。

17.1 自律エージェントは爆風半径をツール予算だけ倍加させる

自律エージェントとは、言語モデルに目標、ツール群、そしてそれらを順次呼び出す権限を、ステップごとの人間レビューなしに与えるシステムだ。モデルが次に何をするかを決め、ツールが実行し、結果がフィードバックされ、ループは目標到達か停止条件発火まで回る。2023年初頭、AutoGPTとBabyAGIがこのパターンを公に試作し、LangChainがそれを定式化し、Anthropicの Claude computer use(2024年10月)とOpenAIの Operator(2025年1月)が、モデルにブラウザやデスクトップ上での権限を与える商用プロダクトへ結実させた。セキュリティ性質は単一ターン生成のそれとは種類が異なる。一回の補完を生成するモデルは、アプリケーションが元に何かする可能性のあるテキストを書く権限を持つ。ブラウザを操作するモデルは、最悪ケースでは、人間レビュー点を挟まずにブラウザにできることを何でもする権限を持つ。前の章で組み立てた緩和策 — ツールのアローリスト、範囲を絞ったケイパビリティトークン、モデルの外側での per-tool ポリシーチェック、高影響アクションに対する人間確認、厳しいステップ制限、予算上限 — はここで、より強調して当てはまる。エージェントの自律性は個別インシデントに先立って決まる設計判断であり、その設計が、あらゆる侵害の上限を決める。

17.2 マルチモーダル面はインジェクションチャネルを桁で広げる

テキストのみのモデルはトークナイザーが認識するものを読む。ビジョン言語モデルは、ピクセル帯域がテキストの運びうるものを超える画像を読み、周辺のアプリケーションは通常、文字列を検査するようには画像の中身を検査できない。Schlarmann and Heinの2023年論文「On the Adversarial Robustness of Multi-Modal Foundation Models」は、人間には知覚できないほどの画像への摂動が、VLMのテキスト出力を大きく変えうることを示した — 古典的な敵対例攻撃が新しいモダリティに適応した形だ。画像に埋め込まれたテキスト(スクリーンショット、ミーム、文書スキャン)もまた別の面である — 画像内でOCRされた指示は、視覚チャネル経由の間接プロンプトインジェクションになりうる。音声言語モデルは音声入力を取る。人間には聞こえない音を含む敵対的音声の摂動は実証されている。動画はその両チャネルを重ね合わせる。それぞれのモダリティが新たなインジェクション面であり、防御の作業はようやく追いつき始めたばかりだ — 画像内のOCRテキストを検出し、フラグを立てるかストリップするVLM前段スキャナー、マルチモーダル入力へのプロヴェナンスタグ、視覚および音声チャネルをテキストと同じ疑念で扱うアライメント訓練、そしてモダリティ意識的な出力フィルタリング。これまでの章で見たパターン — 信頼境界を単一の入力に折り畳ませない — は、以前の章で名指す必要のなかったモダリティにまで広がる。

17.3 合成アイデンティティとAI対AIが防護境界を作り替える

最初の二節はモデルを標的として扱った。三節目はモデルを道具として扱う。出力が真正な人間の生産物と区別のつかない生成モデルは、真正性が検出可能であることに依存する任意のセキュリティ機構を掘り崩す。数分の発話から生成された合成音声は、CEOの声を聞き分ける経理スタッフへのビッシングに使われる。ディープフェイク動画は公人の映像を捏造する。合成テキストは、business email compromise において特定人物の文体を模倣する。2026年時点でどれも珍しくない。ツールはコモディティで、生成一件あたりのコストは数セントだ。防御的応答は provenance インフラであり続けてきた — C2PAコンテンツクレデンシャル、透かし研究、真正メディアの暗号署名 — そして、チャネルの真正性が高リスク判断を支えている場面での本人認証の強化。より広い防御の軌跡はAI対AIだ — 言語モデル上に築いたセキュリティシステムを、他の言語モデルが生成または増幅した攻撃に対して展開する。自動レッドチーミング — NVIDIA Garak、Microsoft PyRIT — は攻撃側で人間をモデルに置き換える。ガードレール、安全性分類器、異常検出は防御側で人間をモデルに置き換える。この軍拡は居心地は悪いが、それが運用上の現実だ。AIアシュアランス — AIシステムがその要件を定義された確信度で満たすことを示す新興の規律 — は、この軍拡に安定した足場を与えようとする試みであり、継続評価インフラ、第三者認証、インシデント開示の規範、そしてISO/IEC 42001およびNIST AI RMFのコミュニティが延伸している標準化作業から成る。

覚えておきたいこと: 本書が書き下ろした規律は成熟したものだ。本章が名指した規律はコミュニティがまだ詰めているものだ。どちらもエンジニアのレパートリーに属し、後者はどんな書籍が更新するよりも速く動いていく。

シリーズはここで完結

第17章は『LLM Primer VII』の最終章であり、これをもって『LLM Primer』シリーズ全体の最終章でもある。第I巻はアテンション機構を起点にトランスフォーマー型言語モデルのアーキテクチャを紹介した。第II巻は訓練、アライメント、そしてモデルを構築する実務的なライフサイクルを扱った。第III巻はRAGとその周辺のデータパイプラインを検討した。第IV巻は評価、ツーリング、そして本番でモデルを取り巻くエンジニアリング実践を眺めた。第V巻は、本章が敵対的側面から扱ったエージェントとツール利用のパターンを一つずつ辿った。第VI巻は推論インフラと組織規模でのスケーリングパターンを扱った。第VII巻、本巻は、それらすべてを守る話であった。七つの巻は、互いにつながる一枚の地図として書かれた。この章に至る前にそれ以前の巻を訪れていない読者には、ぜひ立ち戻ることをお勧めする — 本書のセキュリティ主張の多くは、それらの巻が確立するアーキテクチャの細部の上に立っている。

姉妹編である『Physical AI』(フィジカルAI)は、地図を身体を持つシステムへ延ばす — ロボット、自動運転車、そして同じ確率的基盤がアクチュエータを制御し人間と物理空間を共有する現実世界での展開。本巻のセキュリティ上の懸念は、いくらかの改変を伴ってそのまま持ち越される — 視覚チャネル経由のプロンプトインジェクションは、物理的な到達距離が一メートル単位になる安全上の懸念となる。ツール境界はいまやモータコントローラだ。敵対的入力は、稼働環境に置かれた物体である。この七巻分の規律は、その仕事の代替ではなく前提条件であり、トランスフォーマーのアテンションからインフラを経てセキュリティへ至った弧は、賭け金が形あるものとなる物理世界へと続いていく。

ウォークスルーを最後までお読みいただき、ありがとうございました。書籍そのものには、この記事群に収めきれなかった動く例、実行可能なコード、インシデントプレイブック、「In Plain English」サイドバーを、より長い形で収めている。もしどこか役に立ったなら、次に打つべき最も効きうる一手は、この枠組みを、あなたの組織が守っている当のシステムに当ててみることだ — 第2章の脅威モデル、第4章と第5章の階層化された緩和策、第10章のアーキテクチャパターン、第11章の可観測性、そして第15章の組織的規律が、荷重を担う部品である。

全体像を掴みたい方へ: 書籍側の該当章では、エージェントハーネスのアローリスト実装コード、マルチモーダルスキャナのリファレンス実装、2026年半ばまでのAIアシュアランスインフラのサーベイ、そしてこの記事では要約にとどめた「In Plain English」サイドバーを収めている。Amazonで『LLM Primer VII』を見る →