第1章 — AIセキュリティがこれまでと違う理由

『LLM Primer VII: AIセキュリティ』を章ごとに紹介していくウォークスルー、第1回。AIセキュリティは既存セキュリティにML形容詞を付けたものではない — 基盤そのものが変わり、以後のすべての章がその変化から派生する、と主張する章です。

なぜこの章があるのか

30年間、セキュリティエンジニアリングは安定した土台の上に立っていた — コードとデータは別物であり、脆弱性は「仕様された振る舞い」と「実際の振る舞い」のずれであり、パッチがそれを閉じる。大規模言語モデルはこの土台を、ある特有の仕方で壊す。守るべき振る舞いはソースコードにではなく、学習された数十億の重みに符号化されていて、その入力は、信頼された指示と信頼されていないコンテンツを同じ文字列の中で混ぜている。「脆弱性」はしばしばバグではない — モデルが訓練された通りにきちんと動作しているのに、設計者が想定していなかった文脈でそうしている、というだけだ。「モデルが親切すぎた」に対するパッチは存在しない。あるのは再設計、再訓練、あるいは追加の封じ込めだけだ。この章では、以後のすべてを形作る構造的な違いを名指しする。

1.1 基盤が変わった

従来のアプリケーションセキュリティが機能するのは、振る舞いがコードに仕様として書かれ、欠陥が場所を特定できるからだ。SQLインジェクションには構造的な修正がある — パラメータ化クエリ — なぜならクエリとパラメータの間に構文的な区別が存在するからだ。言語モデルにはそのような仕様が存在しない。あるのは訓練目的と重みの分布であり、特定の入力に対する振る舞いは創発する。モデルがある表現を拒否し、別の表現には応じるとき、「直すべき行」というものは存在しない。セキュリティの問いは「このコードパスにバグはあるか」から「このシステムは何ができ、その能力はどういう条件で危険になるのか」へと移る。従来のセキュリティは決定性を基準線として仮定してもいた。ここでの基準線は確率的である。1000件のテストケースに成功した安全フィルタが1001件目で失敗し得るのは、サンプリングが別の経路を引いたからだ。防御側は到達不能性の証明ではなく、分布と信頼区間で推論する。2025年に改訂された OWASP Top 10 for LLM Applications は、この新しい層を名指しする一つの試みだ — LLM01 をプロンプトインジェクション、LLM10 を無制限な消費として — が、これは既存のウェブアプリケーションの床の上に敷かれた床であって、置き換えではない。

1.2 攻撃面が広がる

LLM統合アプリケーションは、以前は存在しなかった面を導入する。プロンプト自体が、開発者の指示・検索されたコンテキスト・ユーザー入力・ツール出力を連結したものであり — すべてはネイティブな信頼境界を持たないトークンとしてモデルが読む。ユーザーがいずれかの部分に影響を与えられるなら、それは開発者と同じチャネルを共有していることになる。検索経路が2つめの新しい面だ。インデックスに入るあらゆるドキュメントが間接的な入力になり、インデックスに何が入るかに影響できる誰かは、モデルが何を見るかにも影響できる。Greshake らは2023年にこれを間接プロンプトインジェクションと名付け、このチャネルが現実であり、かつ閉じるのが難しいことを示した。ツール利用の境界が3つめだ。モデルに与えられた各ツールは、応答テキストを離れて実際のシステムに届く結果を持つ特権である。訓練パイプラインが4つめで、モデルの更新に使われるあらゆるデータが信頼境界の一部になる。モデル・アーティファクトが5つめ — 大きなバイナリのデシリアライズは、CVE-2024-3568 が示したように、ロード時にコードを実行し得る。出力処理が6つめで、下流に転送されるモデル生成コンテンツは別名で呼ばれた信頼できない入力である。MITRE ATLAS はこの拡張された面に対する戦術と技法をカタログ化している。

1.3 モデルはインフラになりつつある

2012年から2022年まで、モデルはアプリケーション内部の一機能だった。レコメンドシステムが失敗しても、悪化するのはレコメンドだった。大規模言語モデルは、特にツール利用と組み合わさることで、これを変えた。モデルはますますオーケストレーション層になっている — ドキュメントを読み、どのツールを呼ぶかを決め、メッセージを起草し、他のコンポーネントが実行するコードを生成する。しばしばシステム内で最も強力な構成要素であり、同時に最も可塑的でもある。誰でも書ける自然言語入力で駆動されるからだ。従来のデータベースにはクエリ言語とアクセス制御がある。オーケストレータとして働くLLMには、こうした内在的な制約は何もなく、周囲のアプリケーションが加えたものだけがある。ここで「インフラ」というのはそういう意味だ — 侵害が伝播する荷重負担のコンポーネント。インフラには定められたSLO、包括的なロギング、変更管理、インシデントレスポンスが付く。2024〜2025年時点で本番投入されたLLMの大半は、まだその成熟度に到達していなかった。インフラという枠組みは調達にまで届く。組織がマネージドLLMサービスをスタックに組み込むとき、ベンダーのモデル更新規律・評価ゲート・開示慣行が、購入側のリスクプロファイルの一部になる。

第1章が敷いたもの

本書の残りは、ここで名指しした構造的な変化に対する応答だ。第2章では、STRIDE と PASTA のフレームワークを、通常の図には現れない資産・敵対者・攻撃面へと向け直したLLMシステム向けの脅威モデリングを紹介する。第3章はライフサイクル全体にわたるデータの次元を扱う。第4〜6章はプロンプトと対話の内側を歩く — 注入、フィルタリング、RAG。第7〜9章はモデルの層を歩く。第10〜12章はモデルを囲むシステムアーキテクチャを歩く。第13〜15章では、規制・責任あるAI・組織という境界線を加える。第16章はファインチューニングを独自のセキュリティ表面として歩き、第17章はまだ形成途中の脅威を見る。この弧全体は、この章が立てた前提の上に立っている — 基盤が変わった以上、規律もそれに合わせて変わらなければならない。

次回 — 第2章: LLMシステムの脅威モデリング。 Shostack の4つの問い、LLM資産に対する STRIDE と PASTA、そしてこの新しい面が呼び寄せる敵対者たちの戦術カタログとしての MITRE ATLAS。