第3章 — データセキュリティとプライバシー
『LLM Primer VII: AIセキュリティ』を章ごとに紹介していくウォークスルー、第3回。データを固有のライフサイクルを持つ資産として扱う — モデルが部分的に記憶している訓練コーパスから、名前が付く前にSamsungのエンジニアがChatGPTに貼り付けたユーザー入力まで、という章です。
なぜこの章があるのか
第2章の脅威モデルは、データを6つの資産カテゴリのひとつとして名指しした。LLMシステムにおけるデータセキュリティには、独立した章に値するだけの固有の性質がある。訓練コーパスには著作物・個人情報・条件が時間とともに変わるライセンス済みコンテンツが含まれる。訓練されたモデルは、そのコーパスの断片を、攻撃者が抽出できる形で記憶する。本番の入力それ自体が機密データだ — 2023年4〜5月のSamsungインシデントがそれを疑問の余地なく示した — そしてその扱いは、モデルの振る舞いとは独立したセキュリティ上の関心事だ。2023年3月のイタリア Garante によるChatGPTへの措置は、開発者が設計上想定していたかどうかにかかわらず、データ保護法がこれらのシステムに適用されることを確立した。この章は取り込みから削除までのデータライフサイクルを歩く。
3.1 訓練コーパスには著作権・PII・ライセンスドリフトが乗る
フロンティアモデルは、人間が端から端まで読むには大きすぎるコーパス — Common Crawl、Wikipedia、書籍、スクレイピングされたウェブテキスト、コード、ライセンス供給、合成データ — で訓練される。そのスケールは能力の源であり、同時にリスクの源でもある。第一のリスクは著作権だ。著作物での訓練の法的地位は2023年以来争われており、報道機関・著者・画像権利者・コードライセンス執行者からの主要訴訟、そして米著作権局・EU・UK からの立場が、「訓練は少なくとも時に著作権に関係する活動である」という認識に収束しつつある。第二は個人情報だ。ウェブスクレイピングされたコーパスには、氏名・連絡先・職歴・裁判記録・漏洩データベース・認証情報が不可避的に含まれる。GDPR、CCPA/CPRA、PIPL、DPDPA、LGPD、PIPEDA はいずれも、モデル提供者の所在地に関係なくこれらに適用される。2023年3月のイタリア Garante のChatGPTへの措置は最初の規制上の一撃であり、後続もある。第三はライセンスドリフトだ — 組織が「訓練に使ってよい」と信じているものと、基礎契約が実際に許可しているもののあいだの、少しずつ広がるずれ。訓練データマニフェストに紐付いたコーパス単位のライセンス台帳が、その答えを明確に保つ規律だ。
3.2 記憶は性質であり、抽出は攻撃である
訓練されたモデルは訓練データの損失付き分散圧縮だ。多くの訓練文書は直接復元できないが、その圧縮は不完全だ。Carlini らの2021年 USENIX 論文「Extracting Training Data from Large Language Models」は、GPT-2 に注意深く選ばれた接頭辞でプロンプトを与えることで、逐語的な訓練例 — 氏名・電話番号・メールアドレス・コードスニペット — を吐かせることができると示した。2023年 ICLR の後続「Quantifying Memorization Across Neural Language Models」は、記憶がモデル容量・コーパスサイズ・例の重複でスケールすることを示した — 大きなモデルほど多く記憶し、重複除去は助けにはなるが差を埋め切りはしない。Nasr らの2023年「Scalable Extraction of Training Data from (Production) Language Models」は、この攻撃をアラインメント済みの本番モデル(ChatGPT を含む)にまで拡張した — 指示追従を壊してモデルを生の訓練データ出力に戻す発散攻撃を通じて。2つのアイデアは区別しておく価値がある — 記憶はモデルの性質であり、抽出はAPIアクセスを持つ敵対者がその性質を使ってやることだ。モデルが決して抽出されないコンテンツを記憶していることもあれば、記憶が高いモデルに対して抽出試行が失敗することもある。緩和策のスタックは、重複除去、発散に耐えるアラインメント訓練、カナリア文字列との逐語一致に対する出力フィルタリング、そして高クエリ攻撃のコストを上げるレート制限、である。
3.3 ユーザー入力は管理すべきデータカテゴリだ
2023年4〜5月のSamsungのインシデント — 半導体エンジニアが機密ソースをChatGPTに貼り付けた3件の別々の事例 — は、この点を最も平易な形で示した。LLM統合システムにおいて、ユーザー入力それ自体が一つのデータカテゴリだ。あらゆる本番運用は、書面で答えなければならない — ユーザーが正当に送ってよいカテゴリは何か、プロンプトがモデルに届く前に検知・遮断・レダクションすべきカテゴリは何か、入力はどこに・誰によって・どれくらい保存されるか、入力はその後の訓練に使われるか、ユーザーは同意したか、保存された形で誰が読めるか、削除要求時に何が起きるか。答えの不在はポリシーギャップだ。規制対象領域を扱うシステムでは、ユーザー対向レイヤとモデルの間のレダクションパイプライン — Microsoft Presidio はオープンソースツールキットの一つ — がPIIを検知し、ポリシーに応じてマスク・置換・拒否する。他分野でデータを守っている運用規律はすべてここでも当てはまる — 訓練・ファインチューニング・プロンプトテンプレート・検索コーパス・ログ・キャッシュの各ストアに対する保存時暗号化、通信路のTLSまたはmTLS、ストレージ・プロンプト構築・ログ経路にまたがるテナント単位の隔離、そして GDPR 第17条や CCPA の削除要求に対する明確なサービスレベルを持つ保持ポリシー。マルチテナント漏洩は、運用を最も確実に終わらせる失敗モードだ — それを防ぐのに必要な規律は、マルチテナントデータベース隔離に匹敵し、加えて「モデル自体が共有される」というひねりが乗る。
第3章が敷いたもの
第1章から第3章でパートI(基礎)が完成する。パートIIでは運用の内側に向かう。第4章はプロンプトインジェクションとジェイルブレイク — OWASP LLM01 の問題 — を、Willison の当初のフレーミング、Greshake の間接インジェクション論文、Zou らのユニバーサルサフィックス研究、Wei らのジェイルブレイク分類、Wallace らの指示階層訓練を踏まえて取り上げる。第5章は入力検証と出力フィルタリング層を、この分野が収束してきたガードレールツールと敵対的テストフレームワークを伴う運用規律へと発展させる。第6章はRAGを特に取り上げる — この章のデータリスクと第4章の注入リスクが交わる場所だ。つないでいる原理は、これらのシステムにおけるセキュリティが、モデルの一機能ではなくアーキテクチャの性質である、という点だ。
次回 — 第4章: プロンプトインジェクションとジェイルブレイク。 なぜSQLインジェクションのアナロジーが途中までしか届かないのか、どのモデル更新も生き延びてきたジェイルブレイク一族、そしてパートIIの残りが組み立てる多層緩和戦略。
