第8章 — モデルへの敵対的攻撃

『LLM Primer VII: AIセキュリティ』を章ごとに紹介していくウォークスルー、第8回。Goodfellow 2014 の画像分類器研究から TextFooler や universal suffix、本番 API に対するモデル窃取まで、敵対的攻撃の系譜を辿る章。

なぜこの章があるのか

第4章はプロンプトインジェクションを LLM システムにおける敵対的入力の実務的な顔として扱った。第8章はその背後にある研究伝統を歩く。Goodfellow、Shlens、Szegedy の 2014 年論文「Explaining and Harnessing Adversarial Examples」は、敵対的入力は病理ではなく、高次元入力空間におけるモデルのほぼ線形な挙動の帰結だと論じた。この見方は離散入力の問題を解いた NLP 系の仕事 — HotFlip、TextFooler、BERT-ATTACK — を通じて自然言語処理へ持ち込まれ、そして universal adversarial trigger、さらに最近では Zou らの universal-suffix 研究 (クローズドソースの API を跨いで転移した) を通じて LLM に持ち込まれた。敵対的入力の隣にはモデル窃取が並ぶ — 抽出された代理モデルが敵対的入力の発射台となる、機密性攻撃だ。

8.1 FGSM から universal suffix までの系譜

Goodfellow の Fast Gradient Sign Method — 各入力次元を、損失の勾配の符号にイプシロンを乗じた分だけ摂動させる — は連続入力に対する定番のホワイトボックス攻撃だった。テキストはこの手法に抵抗した。トークンが離散だからだ — 埋め込みの勾配に沿って動くと、トークン空間から完全に外れてしまう。NLP 敵対的例文献の大部分は、良い離散近似を探す試みだった。HotFlip (Ebrahimi ら, ACL 2018) は損失を最も変える 1 文字反転を用いた。TextFooler (Jin ら, AAAI 2020) は意味的類似性制約の下でビームサーチによる同義語置換を行った。BERT-ATTACK はマスク言語モデルで置換候補を提案させた。Wallace らの universal adversarial trigger は、任意入力の先頭に付加するとターゲット化された誤動作を誘発する短いトークン列を発見した。Zou らの 2023 年「Universal and Transferable Adversarial Attacks on Aligned Language Models」は、オープンソースモデルで勾配最適化した suffix が API 経由で問い合わせるクローズドソースモデルに転移することを示した — ホワイトボックスとブラックボックスの理論的区別は、実務上、攻撃者が転移可能な攻撃を生成できるだけの代理モデルにホワイトボックスアクセスを持っていたことにより崩れた。この転移可能性こそが、API の不透明性が防御的だと思っていた本番デプロイに対して universal-suffix 研究を意義あるものにした。

8.2 ブラックボックス攻撃は API 予算が示唆するほど高価ではない

重要な商用 LLM は重みを公開しない。関連する脅威モデルはブラックボックスだ — 攻撃者は API アクセスに料金を払い、クエリを送り、応答を観察して洗練させる。文献はこの設定で驚くほど強力な攻撃を示してきた。プロンプト変異の総当たり探索は小さな攻撃面 — 短い敵対的 suffix、単一単語置換 — を扱い、実務的ジェイルブレイクの主力だ。クエリ効率の良い手法は、攻撃者が直接計算できない勾配の代理としてモデル自身の出力シグナルを使う: トークンを変えたときに応答が検出可能な形でシフトするなら、攻撃者はターゲットへ向けて登れる。ジェイルブレイクの自動生成 — PAIR (Chao ら 2023)、TAP (Mehrotra ら 2023) — は攻撃側 LLM を使ってターゲットからのフィードバックに対し洗練を提案する。経済性が効く。クエリコストはペニー単位で、攻撃者が実働ジェイルブレイクを開発する総支出はしばしば 50 ドル以下、そして結果はユーザーやセッション、時にはモデルバージョンを跨いで汎化する。それは「学術用 GPU クラスターを持った誰か」とはかなり違う攻撃者プロファイルだ。

8.3 モデル窃取はブラックボックスを実質ホワイトボックスに変える

モデル窃取 — モデル抽出 — は、攻撃者の目的が特定出力を操作することではなく、ターゲットの挙動を代替として使えるだけ再構築することにあるクラスだ。Tramèr らの 2016 年 USENIX Security 論文「Stealing Machine Learning Models via Prediction APIs」が、Amazon Machine Learning、BigML、類似サービスに対するこの研究系譜を確立した。Krishna らの 2020 年 ICLR 論文「Thieves on Sesame Street」は BERT 型モデルに対する抽出を示した。Carlini らの 2024 年 ICML 論文「Stealing Part of a Production Language Model」は、狙いを絞った API クエリで OpenAI を含む本番モデルの埋め込み投影層の抽出を実演した — 部分抽出ではあるが、それでも提供者が公開意図しなかった隠れ次元と構造情報を露呈した。機密性の損失を超えたセキュリティ的帰結は、抽出された代理が、元モデルに対する転移可能な敵対的例文を生成するためのホワイトボックスターゲットになることだ。防御層は複合的だ: アカウント別、鍵別、IP 別、テナント別のレート制限。抽出を示唆するクエリパターン (均一分布、体系的なプロンプト変化、高エントロピー出力) に対する異常検知。そして境界における敵対的入力検知。ウォーターマーキング研究は抽出モデルを検出可能にすることを目指すが、業界の水準は今も進化中だ。

第8章が敷いたもの

第9章は、既知の良品モデルに対する巧妙な入力よりも根源的なクラスのリスクに向かう — デプロイ前のモデル自体への攻撃、モデルを生み出したサプライチェーンを通じた攻撃だ。訓練データを支配する攻撃者、訓練からデプロイまでのどこかでモデル重みを支配する攻撃者、あるいは推論時の依存関係を支配する攻撃者は、あらゆる入力空間の攻撃者よりも強いポジションを持つ。本章は Gu らの 2017 年 BadNets 系譜からその LLM への翻訳、Anthropic の 2024 年「Sleeper Agents」研究 (安全性訓練を経ても持続する訓練済みバックドアを実演) までを辿る。フォーマットレベルのリスク — CVE-2024-3568 とその周辺で目録化された pickle デシリアライゼーション脆弱性、より安全な代替としての safetensors — も辿り、本番 AI 組織がギャップを埋めるために採用してきたデプロイパイプラインのパターン (モデル署名、ハッシュ検証、SLSA、Sigstore) を扱う。

次回 — 第9章: モデル整合性とサプライチェーンリスク。 BadNets、Sleeper Agents、pickle 対 safetensors、モデル成果物のための Sigstore、そしてデプロイ時整合性の継続的な相方としてのドリフト監視について。