Глава 8 — Adversarial-атаки на модели

Восьмой пост поглавного разбора LLM Primer VII: AI Security. Глава, прослеживающая adversarial-атаки от работы Гудфеллоу 2014 года над классификатором изображений через TextFooler и универсальные суффиксы до model stealing против продакшн-API.

Зачем существует эта глава

Глава 4 обращалась с prompt injection как с практическим лицом adversarial-ввода в системах LLM. Глава 8 проходит лежащую в основе исследовательскую традицию. Работа Гудфеллоу, Шленса и Сегеди 2014 года «Explaining and Harnessing Adversarial Examples» утверждала, что adversarial-входы — не патология, а следствие почти линейного поведения моделей в высокоразмерных пространствах ввода. Эта рамка перешла в NLP через работу, решавшую проблему дискретного ввода, — HotFlip, TextFooler, BERT-ATTACK, — и в LLM через универсальные adversarial-триггеры и, ещё позже, работу Zou и др. об универсальных суффиксах, переносящуюся между закрытыми API. Рядом с adversarial-вводом сидит model stealing — атака на конфиденциальность, чей извлечённый суррогат становится плацдармом для adversarial-входа.

8.1 Линия от FGSM к универсальным суффиксам

Fast Gradient Sign Method Гудфеллоу — сдвинуть каждое измерение ввода на epsilon, умноженное на знак градиента потерь, — был каноническим white-box-атаком для непрерывных входов. Текст сопротивлялся подходу, потому что токены дискретны: движение вдоль градиента эмбеддинга полностью покидает пространство токенов. NLP-литература об adversarial-примерах была во многом о нахождении хороших дискретных приближений. HotFlip (Ebrahimi и др., ACL 2018) использовал переворот одного символа, наиболее меняющий потери. TextFooler (Jin и др., AAAI 2020) заменял синонимы beam-search'ем под ограничениями семантического сходства. BERT-ATTACK использовал masked-language-model для предложения кандидатов на замену. Универсальные adversarial-триггеры Wallace и др. находили короткие последовательности токенов, которые, приклеенные к произвольным входам, вызывали целевое поведение. Работа Zou и др. 2023 «Universal and Transferable Adversarial Attacks on Aligned Language Models» показала, что оптимизированные градиентом суффиксы, полученные на открытых моделях, переносятся на закрытые, опрашиваемые через API, — теоретическое различие между white-box и black-box схлопнулось на практике, потому что у атакующих был white-box-доступ к достаточному числу суррогатных моделей для генерации переносимых атак. Именно эта переносимость сделала работу об универсальных суффиксах значимой для продакшн-развёртываний, считавших свою API-непрозрачность защитной.

8.2 Чёрноящичные атаки дешевле, чем предполагает бюджет API

Коммерческие значимые LLM не выставляют веса. Релевантная модель угроз — чёрноящичная: атакующий платит за API-доступ, посылает запросы, наблюдает ответы и уточняет. Литература показала удивительно сильные атаки в этой обстановке. Брутфорсный поиск по вариантам промпта справляется с малыми поверхностями атаки — короткие adversarial-суффиксы, замены одного слова — и это рабочая лошадка практического джейлбрейкинга. Query-эффективные методы используют собственный сигнал вывода модели как прокси для градиента, который атакующий не может вычислить напрямую: если ответ обнаружимо сдвигается при смене токена, атакующий может подниматься к цели. Автоматизированная генерация джейлбрейков — PAIR (Chao и др. 2023), TAP (Mehrotra и др. 2023) — использует атакующую LLM для предложения уточнений против обратной связи от цели. Экономика имеет значение. Стоимость запросов — копейки; общая трата атакующего на разработку рабочего джейлбрейка часто под пятьдесят долларов и производит атаку, обобщающуюся между пользователями, сессиями и иногда между версиями модели. Это очень иной профиль атакующего, чем «кто-то с академическим GPU-кластером».

8.3 Model stealing превращает чёрный ящик в эффективный белый

Model stealing — извлечение модели — класс, где цель атакующего не в манипуляции конкретным выводом, а в реконструкции достаточной части поведения цели, чтобы можно было использовать реконструкцию как заменитель. Работа Tramèr и коллег USENIX Security 2016 «Stealing Machine Learning Models via Prediction APIs» установила исследовательскую линию против Amazon Machine Learning, BigML и подобных сервисов. Работа Krishna и коллег ICLR 2020 «Thieves on Sesame Street» показала извлечение против BERT-подобных моделей. Работа Carlini и коллег ICML 2024 «Stealing Part of a Production Language Model» продемонстрировала извлечение слоя embedding-projection продакшн-моделей, включая OpenAI, через целенаправленные API-запросы — частичное извлечение, тем не менее выявившее скрытые размерности и структурную информацию, которую провайдер не собирался выдавать. Последствие для безопасности, помимо потери конфиденциальности, в том, что извлечённый суррогат — белоящичная цель для генерации переносимых adversarial-примеров против оригинала. Оборонительный слой композиционен: лимиты скорости на per-account, per-key, per-IP и per-tenant основе; обнаружение аномалий на паттернах запросов, указывающих на извлечение (равномерные распределения, систематические вариации промптов, высокоэнтропийные выводы); и обнаружение adversarial-ввода на границе. Исследование водяных знаков стремится сделать извлечённые модели обнаружимыми, но состояние искусства ещё эволюционирует.

Что подготавливает глава 8

Глава 9 обращается к классу риска более фундаментального, чем сделанные входы против известной-хорошей модели: атакам на саму модель до развёртывания, через цепочку поставок, её произведшую. Атакующий, контролирующий обучающие данные, веса модели в любой точке между обучением и развёртыванием или зависимости на этапе инференса, имеет более сильную позицию, чем любой атакующий пространства ввода. Глава прослеживает линию BadNets Gu и др. от 2017 года через её перевод в LLM, включая исследование Anthropic 2024 «Sleeper Agents», демонстрирующее вшитые backdoor'ы, переживающие тренировку безопасности. Она проходит риски уровня формата — уязвимости десериализации pickle, каталогизированные как CVE-2024-3568 и смежные записи, safetensors как более безопасная альтернатива — и паттерны развёртывания-конвейера (подпись модели, верификация хэша, SLSA, Sigstore), которые продакшн-организации ИИ приняли, чтобы закрыть разрыв.

Дальше — Глава 9: Целостность модели и риски цепочки поставок. BadNets, Sleeper Agents, pickle против safetensors, Sigstore для артефактов модели и мониторинг дрейфа как непрерывный контрапункт целостности на этапе развёртывания.