Capítulo 8 — Ataques Adversariais a Modelos

Oitavo post do passeio capítulo a capítulo pelo LLM Primer VII: Segurança de IA. O capítulo que traça ataques adversariais do trabalho de Goodfellow em classificadores de imagem de 2014 até TextFooler, sufixos universais e model stealing contra APIs de produção.

Por que este capítulo existe

O Capítulo 4 tratou prompt injection como a face prática da entrada adversarial em sistemas LLM. O Capítulo 8 percorre a tradição de pesquisa subjacente. O paper de Goodfellow, Shlens e Szegedy de 2014, "Explaining and Harnessing Adversarial Examples", argumentou que entradas adversariais não são patologia e sim consequência do comportamento quase linear dos modelos em espaços de entrada de alta dimensão. Esse enquadramento chegou ao NLP por trabalhos que resolveram o problema da entrada discreta — HotFlip, TextFooler, BERT-ATTACK — e aos LLMs pelos universal adversarial triggers e, mais recentemente, pelo trabalho de sufixo universal de Zou et al. que transferiu entre APIs fechadas. Ao lado da entrada adversarial está o model stealing, ataque de confidencialidade cujo substituto extraído se torna rampa de lançamento para entradas adversariais.

8.1 A linhagem de FGSM até sufixos universais

O Fast Gradient Sign Method de Goodfellow — perturbar cada dimensão de entrada por epsilon vezes o sinal do gradiente da loss — foi o ataque canônico white-box para entradas contínuas. Texto resistia à abordagem porque tokens são discretos: mover ao longo do gradiente do embedding sai por completo do espaço de tokens. A literatura de exemplos adversariais em NLP foi em grande parte sobre achar boas aproximações discretas. HotFlip (Ebrahimi et al., ACL 2018) usou uma troca de um caractere que mais alterasse a loss. TextFooler (Jin et al., AAAI 2020) substituiu sinônimos com beam search sob restrições de similaridade semântica. O BERT-ATTACK usou um masked-language-model para propor substituições candidatas. Os universal adversarial triggers de Wallace et al. encontraram sequências curtas de tokens que, prependendas a entradas arbitrárias, induziam mau comportamento direcionado. O paper de Zou et al. de 2023, "Universal and Transferable Adversarial Attacks on Aligned Language Models", mostrou que sufixos otimizados por gradiente derivados em modelos open-source transferiam para modelos fechados consultados via API — a distinção teórica entre white-box e black-box colapsou, na prática, porque os atacantes tinham acesso white-box a modelos substitutos suficientes para gerar ataques transferíveis. Essa transferibilidade é o que fez o trabalho de sufixo universal importar para deployments de produção que achavam sua opacidade de API protetora.

8.2 Ataques black-box são mais baratos do que o orçamento de API sugere

Os LLMs comerciais de importância não expõem pesos. O threat model relevante é black-box: o atacante paga pelo acesso à API, envia queries, observa respostas e refina. A literatura mostrou ataques surpreendentemente fortes nesse cenário. Busca por força bruta sobre variantes de um prompt lida com superfícies de ataque pequenas — sufixos adversariais curtos, substituições de palavras isoladas — e é o burro de carga do jailbreaking prático. Métodos eficientes em queries usam o próprio sinal de saída do modelo como proxy do gradiente que o atacante não pode computar diretamente: se a resposta muda detectavelmente quando um token muda, o atacante consegue escalar em direção ao alvo. A geração automatizada de jailbreak — PAIR (Chao et al. 2023), TAP (Mehrotra et al. 2023) — usa um LLM atacante para propor refinamentos contra feedback do alvo. A economia importa. Custos por query são centavos; o gasto total do atacante para desenvolver um jailbreak funcional costuma ficar abaixo de cinquenta dólares e produz um ataque que generaliza por usuários, sessões e às vezes por versões de modelo. Esse é um perfil de atacante bem diferente de "alguém com um cluster acadêmico de GPU".

8.3 Model stealing transforma black-box em white-box efetivo

Model stealing — extração de modelo — é a classe em que o objetivo do atacante não é manipular uma saída específica e sim reconstruir o comportamento do alvo o suficiente para poder usar a reconstrução como substituta. O paper de Tramèr e colegas na USENIX Security 2016, "Stealing Machine Learning Models via Prediction APIs", estabeleceu a linha de pesquisa contra Amazon Machine Learning, BigML e serviços similares. O paper de Krishna e colegas na ICLR 2020, "Thieves on Sesame Street", mostrou extração contra modelos estilo BERT. O paper de Carlini e colegas no ICML 2024, "Stealing Part of a Production Language Model", demonstrou extração da camada de projeção de embedding de modelos de produção, incluindo os da OpenAI, por queries API direcionadas — extração parcial que ainda assim revelou dimensões escondidas e informação estrutural que o provedor não pretendia liberar. A consequência para segurança, além da perda de confidencialidade, é que um substituto extraído é alvo white-box para gerar exemplos adversariais transferíveis contra o original. A camada defensiva é composicional: rate limiting em base por conta, por chave, por IP e por tenant; detecção de anomalia em padrões de query que sugerem extração (distribuições uniformes, variações sistemáticas de prompt, saídas de alta entropia); e detecção de entrada adversarial na fronteira. A pesquisa em watermarking tenta tornar modelos extraídos detectáveis, mas o estado da arte ainda está evoluindo.

O que o Capítulo 8 prepara

O Capítulo 9 volta-se para uma classe de risco mais fundamental do que entradas construídas contra um modelo conhecido-bom: ataques ao próprio modelo antes do deployment, pela cadeia de suprimentos que o produziu. Um atacante que controle dados de treinamento, pesos de modelo em qualquer ponto entre treinamento e deployment ou dependências em tempo de inferência tem posição mais forte do que qualquer atacante do espaço de entrada. O capítulo traça a linha BadNets de Gu et al. de 2017 até sua tradução para LLMs, incluindo a pesquisa "Sleeper Agents" da Anthropic em 2024 demonstrando backdoors treinados persistindo através de safety training. Percorre riscos de nível de formato — vulnerabilidades de desserialização de pickle catalogadas como CVE-2024-3568 e entradas vizinhas, safetensors como alternativa mais segura — e os padrões de pipeline de deployment (assinatura de modelo, verificação de hash, SLSA, Sigstore) que organizações de IA de produção adotaram para fechar o gap.

Próximo — Capítulo 9: Integridade de Modelo e Riscos da Cadeia de Suprimentos. BadNets, Sleeper Agents, pickle versus safetensors, Sigstore para artefatos de modelo e monitoramento de drift como contraparte contínua da integridade em tempo de deployment.