LLM Primer VII — シリーズ序文 & インデックス
『LLM Primer VII: AIセキュリティ』を章ごとに紹介するウォークスルー。LLM Primerのエンジニアリングの弧が最後に着地するのは、敵対者・規制・そして確率的システムの日々の失敗から、それまでのすべてを守れるかどうかを決める規律 — セキュリティです。
なぜこのシリーズがあるのか
従来のセキュリティでは、コードとデータは別物だった。パーサ、エスケープ、パラメータ化クエリはすべて、この分離の上に立っている。LLMシステムでは、開発者の指示を運ぶのと同じ文字列が、ユーザー入力も、検索してきたドキュメントも、ツールの実行結果も、そして訓練中にモデルが見たそれらに似た何かも運ぶ。トランスフォーマーに対して構文的に「絶対に不活性」と証明できる位置は存在せず、モデルが指示ではなくデータとして読むと保証できる部分文字列も存在しない。この構造的な衝突があるからこそ、プロンプトインジェクション、ジェイルブレイク、敵対的攻撃は「パッチを当てる実装バグ」ではなく「設計として管理する帰結」になる。LLMシステムのセキュリティ規律は、資産・敵対者・統制・インシデントといった従来セキュリティの語彙を受け継ぎつつ、その下の基盤を作り直す。第VII巻はその作り直しを、脅威モデルから規制の境界線まで書き下ろしたものだ。
想定読者
本番でLLMを運用することになり、既存のプレイブックのどこがまだ通用するのかを考えているセキュリティエンジニア。モデルを訓練あるいはファインチューニングした側で、これから誰がそれを攻撃してくるのかを推論しなければならないMLエンジニア。推論スタックを運用し、悪用パターンが跳ねたときに呼び出されるプラットフォームリードとSRE。AIの本番投入にサインし、取締役会・規制当局・監査人に対して、確率分布を返す構成要素における「安全」とは何かを説明する立場にあるCISO。本書は本番エンジニアリングに慣れていることは前提とするが、敵対的機械学習の前提知識は求めない。モデル中心の部分は第一原理から立ち上げ、既存のセキュリティ規律と接続できる箇所ではきちんとつなぐ。
読み方
全17章は6つのパートに分かれる。第1〜3章は基礎 — AIセキュリティが何ゆえに違うのか、LLMシステムをどう脅威モデリングするか、そしてライフサイクル全体でのデータの扱い。第4〜6章はプロンプトと対話の層 — プロンプトインジェクション、入出力フィルタリング、そしてRAG。第7〜9章はモデルそのもの — 信頼性の失敗としてのハルシネーション、敵対的攻撃、そしてモデルのサプライチェーン。第10〜12章はモデルを囲むシステムアーキテクチャ — 隔離、可観測性、アクセス制御。第13〜15章はガバナンスの境界 — 規制、責任あるAI、そしてこの規律を担う組織。第16章はファインチューニングを独自のセキュリティ表面として扱い、第17章はまだ形成途中の新興脅威で締めくくる。
17章のウォークスルー
5月10日から5月26日まで、ウォークスルーは1日1章のペースで公開される。各記事は章の3つの要点を約5分で読める形にまとめている。実際に手を動かす例、コード、そして In Plain English サイドバーは書籍の章本体にある。
- 5月10日 — 第1章 — AIセキュリティがこれまでと違う理由。 従来型セキュリティとモデル中心セキュリティ。なぜLLMはコードとデータの分離を破り、「振る舞いの包絡線」そのものを攻撃面に変えてしまうのか。
- 5月11日 — 第2章 — LLMシステムの脅威モデリング。 STRIDE、PASTA、そして MITRE ATLAS を、LLM の資産・敵対者・攻撃面に適用する。
- 5月12日 — 第3章 — データセキュリティとプライバシー。 訓練データのリスク、記憶と抽出、Samsungとイタリア Garante の事例、そして暗号化・隔離・保持の規律。
- 5月13日 — 第4章 — プロンプトインジェクションとジェイルブレイク。 直接・間接インジェクション、ジェイルブレイクの分類、ユニバーサルサフィックス、そして緩和策が構文ではなく多層でなければならない理由。
- 5月14日 — 第5章 — 入力検証と出力フィルタリング。 サニタイズの段階化、構造化プロンプト、Llama Guard、Garak と PyRIT を用いたレッドチーミング、そして誠実な安全指標。
- 5月15日 — 第6章 — 検索拡張生成のリスク。 RAG における信頼境界、悪意あるドキュメントの注入、インデックスと埋め込みの汚染、そして検索経路の監視。
- 5月16日 — 第7章 — ハルシネーションと信頼性。 モデルが捏造する理由、キャリブレーションと温度スケーリング、ハイブリッド検証アーキテクチャ、そして実効性のある人間介在パターン。
- 5月17日 — 第8章 — モデルへの敵対的攻撃。 FGSM から TextFooler、ユニバーサルサフィックスへと続く系譜、ブラックボックスAPI攻撃、そして機密性の観点から見たモデル盗難。
- 5月18日 — 第9章 — モデル完全性とサプライチェーンリスク。 BadNets、Sleeper Agents、pickle デシリアライズ対 safetensors、Sigstore、そして振る舞いのドリフト監視。
- 5月19日 — 第10章 — セキュアなLLMアーキテクチャの設計。 隔離、多段検証、OPA と Cedar のポリシーエンジン、セキュアな API 設計、そしてモデル呼び出しに適用するゼロトラスト。
- 5月20日 — 第11章 — 可観測性、ロギング、インシデントレスポンス。 OpenTelemetry GenAI 規約で何を記録するか、悪用検知、アラート、そして NIST 形式のインシデントプレイブック。
- 5月21日 — 第12章 — アクセス制御とアイデンティティ。 OAuth、mTLS、RBAC 対 ABAC、マルチテナント隔離、レート制限、そしてエンタープライズガバナンスの重ね合わせ。
- 5月22日 — 第13章 — 規制の全体像。 EU AI 法の段階的適用、AI に適用される GDPR、監査可能性、モデルカード、そしてリスク分類フレームワーク。
- 5月23日 — 第14章 — バイアス、公平性、責任あるAI。 バイアスの源泉、公平性ベンチマークとその限界、安全性と有用性のトレードオフ、そして組織のAIポリシー。
- 5月24日 — 第15章 — セキュアなAI組織の構築。 AI固有のセキュリティ文化、内部レッドチーム、ベンダーリスク、継続的評価、そして長期的なモデル管理。
- 5月25日 — 第16章 — セキュアなファインチューニングと適応。 良性データによるアラインメント劣化、意図的なポイズニング、CI 内の評価ゲート、そしてロールバックの規律。
- 5月26日 — 第17章 — 将来の脅威と新興の防御。 自律エージェントとツール利用のブラストラディウス、マルチモーダル攻撃面、合成アイデンティティ、そして AI 対 AI の保証。
本書とシリーズについて
『LLM Primer』シリーズは下田翔が著した全7巻で、Amazon KDP で刊行し、レシートローラーのブログで章ごとに読める。シリーズの主張は、LLM で構築することは「システムの規律」であり、その規律はチェックリスト形式ではなく、スタックの各層を仕組みから順に歩く散文で最もよく学べる、というものだ。第VII巻はその弧を閉じる。セキュリティの巻であると同時に、他の6巻を敵対的な視線で読み直す巻でもある — 第III巻の検索パイプラインを注入経路として、第VI巻の推論スタックをレート制限の境界として、第II巻のアラインメント作業をファインチューニングの攻撃面として。以前の巻が「こう動く」と述べていたのに対し、本巻は「こうすれば失敗させられる、そしてそれにどう対処するか」を述べる。