Глава 3 — Безопасность данных и приватность
Третий пост поглавного разбора LLM Primer VII: AI Security. Глава, обращающаяся с данными как с активом, имеющим жизненный цикл, — от обучающих корпусов, которые модель частично запомнила, до вводов пользователей, которые инженеры Samsung вставили в ChatGPT ещё до того, как у инцидента появилось имя.
Зачем существует эта глава
Модель угроз главы 2 назвала данные одной из шести категорий активов. Безопасность данных в системах LLM имеет достаточно отличительных свойств, чтобы заслужить отдельную главу. Обучающие корпуса содержат материал под копирайтом, персональные данные и лицензированный контент, чьи условия дрейфуют со временем. Обученные модели запоминают фрагменты этого корпуса так, что атакующий может их извлечь. Продакшн-вводы сами по себе — чувствительные данные (инцидент Samsung в апреле–мае 2023 сделал это несомненным), и их обработка — забота безопасности, независимая от поведения модели. Итальянский Garante против ChatGPT в марте 2023 установил, что закон о защите данных применяется к этим системам независимо от того, проектировали ли под него разработчики. Эта глава проходит жизненный цикл данных от загрузки до удаления.
3.1 Обучающие корпуса несут копирайт, PII и лицензионный дрейф
Frontier-модели обучены на корпусах, слишком больших, чтобы человек мог прочитать от начала до конца, — Common Crawl, Википедия, книги, спарсенный веб-текст, код, лицензионные фиды, синтетические данные. Масштаб — источник и способности, и риска. Первый риск — копирайт: правовой статус обучения на материале под копирайтом оспаривается с 2023 года, с крупными исками от новостных организаций, авторов, правообладателей изображений и защитников лицензий кода; позиции US Copyright Office, ЕС и Великобритании сходятся к признанию того, что обучение как минимум иногда — активность, релевантная копирайту. Второй — персональная информация: спарсенные из веба корпуса неизбежно содержат имена, контактные данные, профессиональные истории, судебные записи, утёкшие базы данных и учётные данные. GDPR, CCPA/CPRA, PIPL, DPDPA, LGPD и PIPEDA — все применяются к ним независимо от местоположения провайдера модели. Мартовское 2023 года действие итальянского Garante против ChatGPT было первым регуляторным выстрелом; последовало больше. Третий — лицензионный дрейф: постепенное расхождение между тем, на чём организация верит, что вправе обучать, и тем, что базовые контракты фактически разрешают. Реестр лицензий по корпусам, связанный с манифестом обучающих данных, — это дисциплина, поддерживающая ответ определённым.
3.2 Запоминание — свойство; извлечение — атака
Обученная модель — lossy-распределённое сжатие своих обучающих данных. Большинство обучающих документов напрямую не восстановимы, но сжатие несовершенно. Работа Carlini и коллег USENIX 2021 «Extracting Training Data from Large Language Models» продемонстрировала, что GPT-2 можно побудить выдавать дословные обучающие примеры — имена, номера телефонов, email-адреса, куски кода — путём подсказки тщательно выбранными префиксами. Продолжение ICLR 2023 «Quantifying Memorization Across Neural Language Models» показало, что запоминание масштабируется с ёмкостью модели, размером корпуса и дублированием примеров: крупные модели запоминают больше, а дедупликация помогает, но разрыв не закрывает. Работа Nasr и коллег 2023 «Scalable Extraction of Training Data from (Production) Language Models» расширила атаку на выровненные продакшн-модели, включая ChatGPT, через divergence-атаку, ломавшую следование инструкциям и возвращавшую модель к сырому выводу обучающих данных. Стоит различать две идеи: запоминание — свойство модели; извлечение — то, что противник с API-доступом делает с этим свойством. Модель может запомнить контент, который никогда не извлекается, а попытка извлечения может провалиться против модели с высоким запоминанием. Стек смягчений — дедупликация, тренировка выравнивания, устойчивая к divergence, фильтрация вывода против дословных совпадений с canary-строками и лимиты скорости, повышающие цену атак с высоким числом запросов.
3.3 Пользовательские вводы — категория данных, которой нужно управлять
Инциденты Samsung в апреле–мае 2023 — три отдельных случая, когда полупроводниковые инженеры вставляли конфиденциальный код в ChatGPT — сделали суть предельно ясной. В LLM-интегрированной системе пользовательский ввод сам по себе — категория данных. Каждое продакшн-развёртывание должно ответить письменно: какие категории пользователи могут законно посылать; какие категории должны быть обнаружены и заблокированы или отредактированы до того, как промпт достигнет модели; где хранятся вводы, кем и как долго; используются ли вводы для последующего обучения и согласовал ли пользователь это; кто может читать их в хранимой форме; что происходит по запросу на удаление. Отсутствие ответа — пробел в политике. Для систем, обслуживающих регулируемые домены, конвейер редакции между пользовательским слоем и моделью (Microsoft Presidio — один открытый инструментарий) обнаруживает PII и маскирует, заменяет или отказывает в зависимости от политики. Все операционные дисциплины, защищающие данные в других местах, применимы: шифрование в покое для хранилищ обучения, файн-тюнинга, шаблонов промпта, retrieval-корпуса, логов и кэша; TLS или mTLS в пути; изоляция по арендаторам через хранилище, построение промпта и пути логов; политика удержания с определённым уровнем обслуживания для GDPR Article 17 или CCPA-запросов на удаление. Мультитенантная утечка — режим отказа, надёжнее всего заканчивающий развёртывания; требуемая дисциплина сопоставима с изоляцией мультитенантных баз данных плюс тонкость: сама модель — общая.
Что подготавливает глава 3
Главы 1–3 завершают часть I: основы. Часть II обращается к операционной внутренности. Глава 4 берётся за prompt injection и джейлбрейки — проблему OWASP LLM01, — опираясь на изначальное описание Уиллисона, статью Гресаке о косвенной инъекции, работу об универсальных суффиксах Zou и др., таксономию джейлбрейков Wei и др. и обучение иерархии инструкций Wallace и др. Глава 5 развивает слои валидации ввода и фильтрации вывода в операционную дисциплину с инструментарием guardrail'ов и фреймворками adversarial-тестирования, к которым сошлось поле. Глава 6 берётся за retrieval-augmented generation конкретно — там, где риски данных из этой главы и риски инъекции из главы 4 встречаются. Связующий принцип: безопасность в этих системах — свойство архитектуры, а не фича модели.
Дальше — Глава 4: Prompt injection и джейлбрейки. Почему аналогия с SQL-инъекцией доходит лишь до определённой точки, какие семейства джейлбрейков пережили каждое обновление модели, и стратегия многослойного смягчения, которую выстраивает остальная часть II.
