第 3 章 — 資料安全與隱私
《LLM Primer VII:AI 安全》章節走讀的第三篇。這一章把資料當作一項具有生命週期的資產來處理 — 從模型已經部分記住了的訓練語料,到 Samsung 工程師在事件被命名之前就貼進 ChatGPT 的那些使用者輸入。
這一章為什麼存在
第 2 章的威脅模型把資料列為六大資產類別之一。LLM 系統裡的資料安全有夠多的獨特屬性,值得獨立成一章。訓練語料裡含有著作權作品、個人資訊、以及條款會隨時間變動的授權內容。訓練好的模型會以攻擊者能抽取的方式記住該語料的片段。生產環境的輸入本身就是敏感資料 — 2023 年 4–5 月的 Samsung 事件把這件事確立無疑 — 而它們的處理是一項獨立於模型行為的資安關切。義大利的 Garante 在 2023 年 3 月對 ChatGPT 的處分,也確立了資料保護法適用於這些系統,不管開發者當初有沒有為它設計。這一章從擷取到刪除,走過資料的生命週期。
3.1 訓練語料承載著作權、PII 與授權漂移
前沿模型的訓練語料大到沒有任何人能從頭到尾讀完 — Common Crawl、Wikipedia、書籍、爬取的網路文字、程式碼、授權資料流、合成資料。規模是能力的來源,也是風險的來源。第一項風險是著作權:在著作權作品上做訓練的法律地位,自 2023 年起就一直在爭議中,新聞機構、作者、影像權人、以及程式碼授權執行者提出了重大訴訟,美國著作權局、歐盟與英國的立場逐漸收攏到承認訓練至少有時是與著作權相關的活動。第二項是個人資訊:網路爬來的語料無可避免地含有姓名、聯絡方式、職業經歷、法院紀錄、洩漏過的資料庫、以及憑證。GDPR、CCPA/CPRA、PIPL、DPDPA、LGPD 與 PIPEDA 都適用,不論模型供應商的所在地。義大利 Garante 在 2023 年 3 月對 ChatGPT 的處分是監管上的第一槍;後續還有更多。第三項是授權漂移 — 組織以為它可以拿來訓練的東西,與底層契約實際允許的東西之間漸行漸遠的落差。把每份語料的授權登錄表連結到訓練資料清單上,是讓那個答案保持明確的一種紀律。
3.2 記憶是一種屬性;抽取是一種攻擊
訓練好的模型是它訓練資料的一種有損、分散式壓縮。大部分訓練文件並不能直接被還原,但這個壓縮並不完美。Carlini 等人在 2021 年 USENIX 的論文《Extracting Training Data from Large Language Models》證明,以精心挑選的前綴 prompt,可以誘使 GPT-2 逐字吐出訓練樣本 — 姓名、電話號碼、電子郵件、程式碼片段。2023 年 ICLR 的後續論文《Quantifying Memorization Across Neural Language Models》顯示記憶的規模隨模型容量、語料大小與樣本重複程度成長:模型愈大記得愈多,去重複可以幫忙但無法消弭差距。Nasr 等人 2023 年的《Scalable Extraction of Training Data from (Production) Language Models》透過一個「發散攻擊」,把攻擊延伸到包括 ChatGPT 在內的對齊過的生產模型,這個攻擊打破了指令跟隨、把模型退化回原始訓練資料的輸出。這兩個概念值得分開:記憶是模型的屬性;抽取是擁有 API 存取的對手拿這個屬性來做的事。一個模型可以記住從未被抽取的內容,而抽取嘗試也可以對記憶程度高的模型失敗。緩解堆疊是去重複、抗發散的對齊訓練、對照 canary 字串做逐字比對的輸出過濾,以及提高高查詢量攻擊成本的速率限制。
3.3 使用者輸入是一個需要管理的資料類別
2023 年 4–5 月的 Samsung 事件 — 三起半導體工程師把機密原始碼貼進 ChatGPT 的個別案例 — 以最直白的方式把這件事講清楚了。在一個整合 LLM 的系統裡,使用者輸入本身就是一個資料類別。每一個生產部署都得用文字回答:哪些類別使用者可以合法送過來;哪些類別必須在 prompt 抵達模型之前被偵測並封鎖或塗銷;輸入儲存在哪裡、由誰、保存多久;輸入是否用於後續訓練、是否取得使用者同意;誰能在儲存後讀到它們;收到刪除請求時會發生什麼。沒有答案就是政策缺口。對服務受監管領域的系統來說,在對使用者的層與模型之間插入一條 redaction 管線 — Microsoft Presidio 是其中一個開源工具 — 可以偵測 PII 並依政策做遮罩、替換或拒絕。保護資料在他處的作業紀律在這裡全部適用:對訓練、微調、prompt 範本、檢索語料、日誌與快取的儲存做 encryption at rest;傳輸中用 TLS 或 mTLS;跨儲存、prompt 組裝與日誌路徑做每租戶隔離;以及訂出對 GDPR 第 17 條或 CCPA 刪除請求的服務水準的保存期限政策。多租戶洩漏是最能穩定地讓部署收攤的故障模式;預防它所需的紀律,與多租戶資料庫隔離相當,再加上模型本身是共享的這道皺褶。
第 3 章鋪陳出來的東西
第 1 到 3 章走完第一部:基礎。第二部轉向作業內部。第 4 章接手 prompt injection 與 jailbreak — OWASP LLM01 那個問題 — 取材自 Willison 的原始框架、Greshake 的間接注入論文、Zou 等人的 universal suffix 工作、Wei 等人的 jailbreak 分類,以及 Wallace 等人的指令階層訓練。第 5 章把輸入驗證與輸出過濾層發展成作業紀律,搭配這個領域已經收攏出來的 guardrail 工具與對抗性測試框架。第 6 章專門處理檢索增強生成,本章的資料風險與第 4 章的注入風險在那裡交會。串起來的原則是:這些系統的安全性是架構的屬性,而不是模型的功能。
下一篇 — 第 4 章:Prompt Injection 與 Jailbreak。為什麼 SQL injection 的類比只能走到那裡、那些歷經每一次模型更新都活下來的 jailbreak 家族,以及第二部其餘部分要建構的分層緩解策略。
