LLM Primer VII — Introdução da Série e Índice

Um passeio capítulo a capítulo pelo LLM Primer VII: Segurança de IA — o volume que fecha a série, no qual o arco de engenharia do LLM Primer aterrissa na disciplina que decide se qualquer coisa nele sobrevive a adversários, reguladores ou aos modos de falha cotidianos de sistemas probabilísticos.

Por que esta série existe

Na segurança tradicional, código e dados são coisas distintas. Parsers, escapes e consultas parametrizadas descansam todos sobre essa separação. Em sistemas LLM, a mesma string que carrega as instruções do desenvolvedor carrega também a entrada do usuário, o documento recuperado, o resultado da ferramenta e qualquer coisa que o modelo tenha visto durante o treinamento que se pareça com algum desses. Não existe posição sintática comprovadamente inerte para um transformer, nem substring que o modelo tenha garantia de ler como dado em vez de como instrução. Essa colisão estrutural é o motivo pelo qual prompt injection, jailbreaks e ataques adversariais não são bugs de implementação a corrigir, mas consequências de projeto a administrar. A disciplina de segurança para sistemas LLM herda o vocabulário da segurança tradicional — ativos, adversários, controles, incidentes — e reconstrói o substrato debaixo dele. O Volume VII é essa reconstrução colocada no papel, do modelo de ameaças até o perímetro regulatório.

O livro em uma frase: segurança de LLMs é a disciplina de defender sistemas cujo componente mais poderoso é uma função probabilística que lê toda entrada como potencialmente instrucional, e cujos modos de falha, portanto, precisam ser administrados por arquitetura, avaliação, observabilidade e governança em vez de por patches.

Para quem escrevi isto

Engenheiros de segurança que agora são responsáveis por um LLM em produção e se perguntam quais partes do seu playbook existente ainda se aplicam. Engenheiros de ML que treinaram ou fizeram fine-tuning do modelo e agora precisam raciocinar sobre quem pode atacá-lo. Líderes de plataforma e SREs que operam a stack de inferência e são acionados quando padrões de abuso disparam. CISOs que precisam aprovar deployments de IA e responder a conselhos, reguladores e auditores sobre o que "seguro" significa quando o componente em questão emite distribuições de probabilidade. O livro pressupõe fluência em engenharia de produção e não pressupõe familiaridade prévia com ML adversarial; ele constrói as partes centradas em modelo a partir de primeiros princípios e as conecta às disciplinas de segurança existentes onde a conexão é real.

Como ler

Os dezessete capítulos se dividem em seis partes. Os capítulos 1 a 3 constroem as fundações — por que segurança de IA é diferente, como fazer threat modeling de um sistema LLM e a dimensão de dados ao longo de seu ciclo de vida. Os capítulos 4 a 6 percorrem a camada de prompt e interação: prompt injection, filtragem de entrada e saída e geração aumentada por recuperação. Os capítulos 7 a 9 percorrem o próprio modelo: alucinações como falha de confiabilidade, ataques adversariais e a cadeia de suprimentos do modelo. Os capítulos 10 a 12 percorrem a arquitetura de sistema ao redor do modelo — isolamento, observabilidade e controle de acesso. Os capítulos 13 a 15 percorrem o perímetro de governança — regulação, IA responsável e a organização que carrega a disciplina. O capítulo 16 percorre o fine-tuning como sua própria superfície de segurança, e o capítulo 17 encerra com as ameaças emergentes que ainda estão se formando.

O passeio pelos 17 capítulos

Entre 10 e 26 de maio, o walkthrough publica um capítulo por dia. Cada artigo destila as três ideias centrais do capítulo em uma leitura de cerca de cinco minutos; o capítulo do livro carrega os exemplos trabalhados, o código e os quadros In Plain English.

10 de maio — Capítulo 1 — Por Que a Segurança de IA É Diferente. Segurança tradicional versus segurança centrada em modelo; por que LLMs quebram a separação código/dados e transformam o envelope comportamental em superfície de ataque.
11 de maio — Capítulo 2 — Threat Modeling para Sistemas LLM. STRIDE, PASTA e MITRE ATLAS aplicados a ativos, adversários e superfícies de ataque de LLMs.
12 de maio — Capítulo 3 — Segurança de Dados e Privacidade. Riscos dos dados de treinamento, memorização e extração, os incidentes da Samsung e do Garante, e a disciplina de criptografia, isolamento e retenção.
13 de maio — Capítulo 4 — Prompt Injection e Jailbreaks. Injeção direta e indireta, taxonomias de jailbreak, sufixos universais, e por que a mitigação precisa ser em camadas em vez de sintática.
14 de maio — Capítulo 5 — Validação de Entrada e Filtragem de Saída. Estágios de sanitização, prompting estruturado, Llama Guard, red teaming com Garak e PyRIT e métricas honestas de segurança.
15 de maio — Capítulo 6 — Riscos da Geração Aumentada por Recuperação. Fronteiras de confiança em RAG, injeção maliciosa de documentos, envenenamento de índice e de embeddings e monitoramento do caminho de recuperação.
16 de maio — Capítulo 7 — Alucinações e Confiabilidade. Por que modelos fabricam, calibração e temperature scaling, arquiteturas híbridas de verificação e padrões eficazes de human-in-the-loop.
17 de maio — Capítulo 8 — Ataques Adversariais a Modelos. A linhagem de FGSM até TextFooler e sufixos universais, ataques black-box a APIs e roubo de modelo como problema de confidencialidade.
18 de maio — Capítulo 9 — Integridade de Modelo e Riscos da Cadeia de Suprimentos. BadNets, Sleeper Agents, desserialização de pickle versus safetensors, Sigstore e monitoramento de desvio comportamental.
19 de maio — Capítulo 10 — Projetando Arquiteturas LLM Seguras. Isolamento, validação multicamada, motores de política OPA e Cedar, design seguro de API e zero-trust aplicado a chamadas de modelo.
20 de maio — Capítulo 11 — Observabilidade, Logging e Resposta a Incidentes. O que registrar com as convenções OpenTelemetry GenAI, detecção de abuso, alertas e playbooks de incidente no formato NIST.
21 de maio — Capítulo 12 — Controle de Acesso e Identidade. OAuth, mTLS, RBAC versus ABAC, isolamento multitenant, rate limits e a camada de governança corporativa.
22 de maio — Capítulo 13 — Panorama Regulatório. A aplicabilidade em fases do AI Act da UE, GDPR aplicado à IA, auditabilidade, model cards e frameworks de classificação de risco.
23 de maio — Capítulo 14 — Viés, Justiça e IA Responsável. Fontes de viés, benchmarks de justiça e seus limites, o trade-off entre segurança e utilidade e a política organizacional de IA.
24 de maio — Capítulo 15 — Construindo uma Organização de IA Segura. Cultura de segurança específica de IA, red teams internos, risco de fornecedores, avaliação contínua e stewardship de longo prazo.
25 de maio — Capítulo 16 — Fine-Tuning Seguro e Adaptação. Erosão de alinhamento por dados benignos, envenenamento deliberado, gates de avaliação em CI e disciplina de rollback.
26 de maio — Capítulo 17 — Ameaças Futuras e Defesas Emergentes. Agentes autônomos e o raio de destruição do uso de ferramentas, superfícies de ataque multimodais, identidade sintética e assurance de IA contra IA.

A série LLM Primer se encerra aqui: o Volume I construiu as fundações da arquitetura Transformer, o Volume II a matemática do treinamento e do alinhamento, o Volume III o pipeline de geração aumentada por recuperação, o Volume IV a cognição em forma de protocolo e o ferramental ao redor, o Volume V as aplicações em produção, o Volume VI a infraestrutura de inferência em escala — e o Volume VII é onde todos os seis encontram o adversário. O volume companheiro Physical AI estende o mapa para sistemas embarcados, onde o mesmo substrato probabilístico agora controla atuadores e compartilha o espaço físico com pessoas.

Sobre este livro e a série

A série LLM Primer é composta por sete volumes escritos por Sho Shimoda, publicados na Amazon KDP e lidos capítulo a capítulo aqui no blog da ReceiptRoller. A série argumenta que construir com LLMs é uma disciplina de sistemas, e que a disciplina se aprende melhor percorrendo cada camada da stack em prosa focada em mecanismo, não em forma de checklist. O Volume VII fecha esse arco. É o volume de segurança, e também é o volume que relê os outros seis com lente adversarial — o pipeline de recuperação do Volume III como canal de injeção, a stack de inferência do Volume VI como fronteira de rate limit, o trabalho de alinhamento do Volume II como superfície de ataque para fine-tuning. Onde os volumes anteriores diziam "eis como funciona", este diz "eis como se pode fazer isso falhar, e o que fazer a respeito".

Pegue sua cópia. O livro traz os exemplos trabalhados completos, o Python executável para redação, guardrails e rollback, os YAMLs para políticas OPA e gates de avaliação em CI, os playbooks de incidente em forma mais longa e os quadros In Plain English que estes artigos apenas resumem. LLM Primer VII na Amazon →