第2章 — LLMシステムの脅威モデリング

『LLM Primer VII: AIセキュリティ』を章ごとに紹介していくウォークスルー、第2回。Shostack の4つの問い、STRIDE、PASTA、MITRE ATLAS を採り、あらゆる入力を潜在的な指示として読む確率的関数を最も強力な構成要素として持つシステムに適用する、という章です。

なぜこの章があるのか

第1章では、AIセキュリティは構造的に違うと論じた。第2章はその違いに運用可能な形を与える。Adam Shostack の4つの問い — 「何を作っているのか」「何がまずいことになり得るのか」「それに対して何をするのか」「うまくやれたのか」 — はどのシステムでも同じだが、それらに答えるための図・資産インベントリ・敵対者カタログは、対象システムがプロンプト構築ロジック・検索パイプライン・ツールレジストリ・そして「検索してきたコンテンツを開発者の指示と同等に扱う確率的関数」を含むとき、見た目が変わる。この章は各フレームワーク — STRIDE、PASTA、MITRE ATLAS、NIST AI 100-2 — を歩き、以後の章が繰り返し戻ってくる、LLM脅威モデルの実働テンプレートを作る。

ひとことで言うと: LLMシステムに対する脅威モデリングは他システムと同じ規律だが、プロンプト構築・検索・ツール・出力処理といったコンポーネントを別々の要素として露出させた図から始まらなければならない — 「LLMとラベル付けされた1つの箱」ではセキュリティ上重要な構造の大半が隠れてしまう。

2.1 フレームワークは適応できる、しかし図で手を抜くことはできない

STRIDE — なりすまし、改ざん、否認、情報漏洩、サービス拒否、権限昇格 — は驚くほどよくLLMシステムに写る。なりすましはAPIへのアイデンティティ攻撃やユーザーなりすましになる。改ざんはプロンプトインジェクション、訓練データポイズニング、検索インデックス操作になる。否認は「誰がどのプロンプトを送り、誰がどの出力を作ったか」の争いになる。情報漏洩は訓練データ抽出、システムプロンプト漏洩、テナント間漏洩になる。サービス拒否は OWASP の LLM10、高コストなプロンプトとトークン洪水による無制限消費になる。権限昇格はツール利用の境界になる — 特権ツールを呼ばせることに成功したユーザーは、そのツールの特権を継承する。PASTA はビジネス文脈と敵対者シミュレーションを上乗せする、すでにレッドチーム作業をやっているチーム向けのアプローチだ。いずれのフレームワークも、監視上の問いが依存するコンポーネントを分離するデータフロー図を前提としている。LLMシステムでは、図は常にプロンプト構築ロジック・検索パイプライン・ツールレジストリ・モデル呼び出し・出力処理経路・ロギング経路を分離するべきだ。

2.2 通常のインベントリには載らない資産

脅威モデルは、その資産インベントリの良さで決まる。LLMシステムは、それまで従来型アプリケーションを扱ってきたチームにとってなじみのないカテゴリを導入する。モデル自体はいくつかのサブ資産を持つ — 重み(多ギガバイトのバイナリで、多大な訓練投資を代表する)、文書化された振る舞い(システムプロンプト、安全ポリシー、アラインメント訓練)、そして評判(公の失敗はどんな技術的侵害とも独立に製品を傷つける)。データは訓練データ・ファインチューニングデータ・検索コーパス・ユーザー入力・出力を含み、それぞれに固有の機密性・完全性・可用性の要件がある。プロンプトそのものが今や資産だ — 多くの製品の知的財産は数ヶ月かけて練り上げたシステムプロンプトの中に生きており、OWASP の2025年リストは LLM07 としてシステムプロンプト漏洩を明示的に挙げている。インフラは推論スタック・ベクターストア・ツールインターフェース・それらを結ぶ認証情報を含む。ログはフォレンジック記録として資産であり、二次資産 — モデル評判・規制上の立ち位置・顧客の信頼 — はプライマリ資産がトラフィックとの接触に耐えることに依存している。

2.3 敵対者はそれぞれ固有の動機を持つ

あらゆるものに対して等しく守る脅威モデルは、何に対しても守れていない。敵対者インベントリは具体的でなければならない。好奇心旺盛なユーザーはシステムが何をするかを見るために探る — SNSで見た手法を使い、ボリュームは高く、1件あたりのインパクトは低いが、システムの見かけ上の安全性への累積的な影響は大きい。悪意あるユーザーは特定の危害を意図する — システムが拒否すべきコンテンツを引き出す、他のユーザーのデータやシステムプロンプトを盗む、システムを使って第三者を攻撃する(起草されたフィッシング、生成されたマルウェアを介して)。競合はモデル(第8章)やシステムプロンプトを抽出して、自分たちの開発コストを下げる。インサイダーは信頼境界の内側から動く。国家的アクターはモデルレベルの攻撃をより広い戦技と組み合わせ、そのターゲットは通常モデル自体ではなく組織である。自動化されたエージェント — それ自体がLLMで、時に別の敵対者に駆動される — は最も新しいカテゴリであり、第17章が取り上げるものだ。各敵対者カテゴリには異なる能力・異なる動機・異なる検知プロファイルがあり、あるカテゴリに対するコストを上げる緩和策が、別のカテゴリには効かないこともある。

覚えておきたいこと: APIベースのLLM運用では、セキュリティチームが「アプリケーションロジック」と呼ぶもの — つまりモデルの振る舞い — の大部分が、チームが検査できない契約上の境界の向こう側にある。脅威モデルは、モデルを「もう一つの部品」と装うのではなく、この非対称性を認めなければならない。

第2章が敷いたもの

ここで作られたテンプレート — 1ページのシステム記述、信頼境界付きのデータフロー図、資産インベントリ、敵対者カタログ、STRIDE による脅威列挙、緩和マッピング、残余リスクレジスタ — は、本書の残りが埋めていく枠組みだ。第3章はデータ資産カテゴリを、その完全な構造 — 訓練データリスク、記憶と抽出、機密入力の扱い、暗号化と保持 — に展開する。第4章はプロンプトインジェクションを取り上げる。STRIDE の改ざんカテゴリが、プロンプト構築コンポーネントに対する支配的な脅威としてすでに名指ししたものだ。第5・6章は入力・出力・RAG 層におけるプロンプトインジェクションの緩和策を開発する。以後の章も同じテンプレートに戻ってくる — 第11章の可観測性、第12章のアイデンティティ — が、ここで導入した資産インベントリと敵対者カタログが、それらの章が拡張する土台になる。

次回 — 第3章: データセキュリティとプライバシー。 訓練データのリスク、記憶と抽出、Samsungとイタリア Garante の事例、そしてLLMシステムにおけるデータセキュリティが求める暗号化・隔離・保持の規律。

全体像を掴みたい方へ: 書籍の章には、実行可能なデータフロー図の例、RAG バックエンドのサポートアシスタントに対する段階的な脅威レジスタ、STRIDE と PASTA の完全なマッピング表、そしてこの記事では要約しかない In Plain English サイドバーが含まれる。Amazonで『LLM Primer VII』を見る →