Capítulo 3 — Segurança de Dados e Privacidade

Terceiro post do passeio capítulo a capítulo pelo LLM Primer VII: Segurança de IA. O capítulo que trata dado como ativo com ciclo de vida — de corpora de treinamento que o modelo memorizou em parte até entradas de usuário que engenheiros da Samsung colaram no ChatGPT antes de o incidente ter nome.

Por que este capítulo existe

O threat model do Capítulo 2 nomeou dado como uma das seis categorias de ativos. A segurança de dados em sistemas LLM tem propriedades distintivas suficientes para merecer um capítulo próprio. Corpora de treinamento contêm material com copyright, informação pessoal e conteúdo licenciado cujos termos mudam com o tempo. Modelos treinados memorizam fragmentos desse corpus de forma que um atacante consegue extrair. Entradas de produção são elas mesmas dado sensível — o incidente da Samsung em abril e maio de 2023 encerrou essa discussão — e seu manejo é uma preocupação de segurança independente do comportamento do modelo. A ação do Garante italiano contra o ChatGPT em março de 2023 estabeleceu que a lei de proteção de dados se aplica a esses sistemas independentemente de os desenvolvedores terem projetado para ela ou não. Este capítulo percorre o ciclo de vida do dado, da ingestão à deleção.

3.1 Corpora de treinamento carregam copyright, PII e desvio de licenças

Modelos de fronteira são treinados em corpora grandes demais para qualquer humano ler de ponta a ponta — Common Crawl, Wikipedia, livros, texto raspado da web, código, feeds licenciados, dados sintéticos. A escala é a fonte da capacidade e também a fonte do risco. O primeiro risco é copyright: o status legal de treinar em material protegido tem sido contestado desde 2023, com processos importantes de organizações de imprensa, autores, detentores de direitos de imagem e defensores de licenças de código, e posições do US Copyright Office, da UE e do Reino Unido convergindo no reconhecimento de que treinar é, ao menos às vezes, uma atividade relevante para copyright. O segundo é informação pessoal: corpora raspados da web inevitavelmente contêm nomes, contatos, históricos profissionais, registros judiciais, bases vazadas e credenciais. GDPR, CCPA/CPRA, PIPL, DPDPA, LGPD e PIPEDA se aplicam independentemente da localização do provedor. A ação do Garante italiano de março de 2023 contra o ChatGPT foi o primeiro tiro regulatório; vieram outros. O terceiro é o desvio de licenças — a divergência gradual entre o que uma organização acredita poder treinar e o que os contratos subjacentes de fato permitem. Um registro de licenças por corpus, ligado ao manifesto de dados de treinamento, é a disciplina que mantém essa resposta definitiva.

3.2 Memorização é propriedade; extração é ataque

Um modelo treinado é uma compressão distribuída e com perdas dos dados de treinamento. A maioria dos documentos de treinamento não é diretamente recuperável, mas a compressão é imperfeita. O paper de Carlini e colegas na USENIX 2021, "Extracting Training Data from Large Language Models", demonstrou que o GPT-2 podia ser induzido a emitir literalmente exemplos de treinamento — nomes, telefones, endereços de email, trechos de código — a partir de prefixos cuidadosamente escolhidos. O follow-up de 2023 na ICLR, "Quantifying Memorization Across Neural Language Models", mostrou que memorização escala com capacidade do modelo, tamanho do corpus e duplicação de exemplos: modelos maiores memorizam mais, e a deduplicação ajuda mas não fecha o gap. Nasr e colegas em 2023, "Scalable Extraction of Training Data from (Production) Language Models", estenderam o ataque a modelos de produção alinhados, incluindo o ChatGPT, por um ataque de divergência que quebrou o instruction-following e reverteu o modelo à saída bruta dos dados de treinamento. Vale distinguir as duas ideias: memorização é propriedade do modelo; extração é o que um adversário com acesso à API faz com essa propriedade. Um modelo pode memorizar conteúdo que nunca é extraído, e uma tentativa de extração pode falhar contra um modelo cuja memorização é alta. A stack de mitigação é deduplicação, alignment training que resista à divergência, filtragem de saída contra matches literais com strings canário e rate limits que aumentam o custo de ataques de muitos queries.

3.3 Entradas de usuário são categoria de dados que precisa ser administrada

Os incidentes da Samsung em abril e maio de 2023 — três casos separados em que engenheiros de semicondutores colaram código confidencial no ChatGPT — deixaram isso claro da forma mais direta possível. Em um sistema integrado a LLM, a entrada do usuário é ela mesma uma categoria de dado. Toda deployment em produção precisa responder, por escrito: quais categorias os usuários podem legitimamente enviar; quais categorias precisam ser detectadas e bloqueadas ou redigidas antes que o prompt chegue ao modelo; onde as entradas ficam armazenadas, por quem e por quanto tempo; se as entradas são usadas em algum treinamento subsequente e se o usuário consentiu; quem pode lê-las na forma armazenada; o que acontece em pedido de deleção. A ausência de resposta é uma lacuna de política. Para sistemas em domínios regulados, um pipeline de redação entre a camada voltada para o usuário e o modelo — Microsoft Presidio é um toolkit open-source — detecta PII e mascara, substitui ou recusa conforme a política. As disciplinas operacionais que protegem dado em outros contextos se aplicam: criptografia em repouso para os armazenamentos de treinamento, fine-tuning, template de prompt, corpus de recuperação, log e cache; TLS ou mTLS em trânsito; isolamento por tenant nos armazenamentos, na construção de prompt e nos caminhos de log; e política de retenção com SLO definido para pedidos de deleção sob GDPR Artigo 17 ou CCPA. Vazamento multi-tenant é o modo de falha que mais confiavelmente encerra deployments; a disciplina para preveni-lo é comparável ao isolamento multi-tenant de bancos de dados, com a complicação adicional de que o próprio modelo é compartilhado.

O que o Capítulo 3 prepara

Os capítulos 1 a 3 completam a Parte I: fundações. A Parte II se volta ao interior operacional. O Capítulo 4 retoma prompt injection e jailbreaks — o problema OWASP LLM01 — apoiado no enquadramento original de Willison, no paper de injeção indireta de Greshake, no trabalho de sufixo universal de Zou et al., na taxonomia de jailbreak de Wei et al. e no treinamento de hierarquia de instruções de Wallace et al. O Capítulo 5 desenvolve as camadas de validação de entrada e filtragem de saída em disciplina operacional, com o ferramental de guardrail e os frameworks de teste adversarial nos quais o campo convergiu. O Capítulo 6 trata especificamente de retrieval-augmented generation, onde os riscos de dados deste capítulo e os riscos de injeção do Capítulo 4 se encontram. O princípio conector é que segurança nesses sistemas é propriedade da arquitetura, não uma funcionalidade do modelo.

Próximo — Capítulo 4: Prompt Injection e Jailbreaks. Por que a analogia com SQL injection só vai até certo ponto, as famílias de jailbreak que sobreviveram a toda atualização de modelo e a estratégia de mitigação em camadas que o resto da Parte II desenvolve.