Capítulo 16 — Fine-Tuning Seguro e Adaptação

Décimo sexto post do passeio capítulo a capítulo pelo LLM Primer VII: Segurança de IA. O capítulo que trata um modelo fine-tunado como artefato cujas propriedades de segurança precisam ser conquistadas, não herdadas — porque os mesmos passos de gradiente que ensinam vocabulário de domínio podem também erodir o alinhamento com que o modelo base chegou.

Por que este capítulo existe

Fine-tuning parece operação de baixo risco. Um time pega um modelo base bem alinhado, faz tuning em seus dados de domínio e espera que o comportamento alinhado sobreviva. A literatura empírica tem sido clara desde 2023 de que essa expectativa está errada. O paper de Qi et al. no ICLR 2024, "Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!", mostrou que mesmo dados benignos de instrução podem baixar taxas de recusa em benchmarks de dano. O "Shadow Alignment" de Yang et al. em 2023 mostrou que cem exemplos deliberadamente construídos podem subverter um modelo de peso aberto alinhado com segurança. O capítulo percorre os mecanismos, o threat model de envenenamento, os gates de avaliação que pegam regressões em CI, as técnicas de alinhamento que reinstalam o que o tuning erodiu e a disciplina de rollback que transforma atualizações ruins em operações rotineiras.

16.1 Alinhamento erode pelo mecanismo que treina comportamento

Adaptação de domínio costuma ser bem motivada. O modelo base é genérico demais, o time tem um corpus que captura como o domínio fala, o tuning estreita o comportamento para algo mais preciso e mais on-brand. O que fica de fora é que estreitar não é grátis. Os mesmos passos de gradiente que ensinam vocabulário de domínio também re-pesam todos os outros comportamentos, incluindo os que impediam o modelo de gerar síntese de armas biológicas ou escrever phishing convincente. Qi et al. mediram isso diretamente fazendo fine-tuning de uma variante Llama-2 tunada para segurança no dataset de instruções Alpaca — publicamente disponível, sem conteúdo obviamente danoso — e observaram que taxas de recusa em benchmarks de dano caíram substancialmente. Nada no conjunto de treinamento pedia que o modelo fosse menos seguro. O sinal foi carregado pela ausência de demonstrações de recusa: o modelo aprendeu que respostas prestativas eram recompensadas e recusar quase nunca era modelado, e generalizou essa lição para pedidos em que a recusa era o default treinado. O mecanismo é o que o gradiente descendente faz quando o objetivo é "siga a instrução" e as demonstrações quase nunca recusam. As mitigações são arquiteturais — misturar exemplos de recusa no conjunto de fine-tuning, usar técnicas como DPO ou KTO que preservam o comportamento do modelo de referência, aplicar retreinamento de segurança após adaptação de domínio — mas nenhuma delas é automática.

16.2 Envenenamento deliberado é ataque de poucos dados

Se erosão acidental é o caso comum, envenenamento é o pior caso. O threat model é direto: um atacante contribui com alguma fração dos dados de fine-tuning com o objetivo de instalar um comportamento específico que o deployer não vai perceber na avaliação. O comportamento pode ser um backdoor (saída acionada por frase de trigger), um lift de recusa (obediência onde o modelo base recusava), uma inserção de conteúdo (recomenda um produto ou partido específico ao ser perguntado sobre temas não relacionados) ou um desalinhamento de longo horizonte que se ativa sob condições específicas. O "Shadow Alignment" de Yang et al. mostrou que cem pares adversariais, estruturados como instrução-resposta comum, podiam subverter o comportamento de segurança de um modelo importante de peso aberto. Qi et al. na ICLR 2024 replicaram em escala menor: cerca de dez exemplos bem escolhidos foram suficientes para comprometer materialmente o alinhamento. Os exemplos não precisavam ser exóticos. Misturados a dados benignos, o dataset parecia comum. A superfície de ameaça se amplia com o número de partes que contribuem com dados — submissões de clientes a um pipeline de labelling, terceirizados fazendo labelling, funcionários preparando corpora internos de fine-tuning, datasets abertos a montante. Cada uma é canal potencial de injeção, e a postura defensiva é disciplina de proveniência: todo exemplo de treinamento tem de ser rastreável à sua origem, e a origem precisa ser confiável no nível que o resultado do fine-tuning exige.

16.3 Gates de avaliação e rollback são a rede de segurança operacional

Um checkpoint fine-tunado não é um modelo deployável. É um candidato. O gap é fechado por avaliação — tanto avaliação de capacidade que confirma que o modelo ainda faz o trabalho como avaliação de segurança que confirma que ele não regrediu. O modelo mental certo é gate de deployment, não relatório de benchmark. Um gate tem critérios de aprovação e reprovação, limiares definidos com antecedência e consequência definida quando os critérios não são atendidos — sem promoção para staging, sem tráfego, ticket automático. Sob pressão de prazo, relatórios de benchmark se tornam consultivos; gates impostos por CI são o que de fato segura. As técnicas de alinhamento que restauram segurança após erosão por tuning incluem misturar exemplos de recusa no conjunto de fine-tuning, RLHF ou DPO sobre preferências de recusa, Constitutional AI (Bai et al., Anthropic, 2022) como abordagem em tempo de treinamento que escala sem labelling humano e treinamento contínuo tunado para segurança em conjuntos canário. Todo modelo fine-tunado vai se comportar mal eventualmente. A única pergunta é se o time consegue reverter para uma versão conhecida-boa em minutos ou passa o dia em resposta a incidente. A diferença é disciplina antes do deployment. Um registry de modelo — MLflow Model Registry, AWS SageMaker, Vertex AI ou equivalentes internos — que rastreia todo artefato, sua proveniência, seus resultados de avaliação, seu status de deployment e sua linhagem é o padrão fundamental. Um registry que não registra resultados de avaliação é um artefato store; um artefato store não ajuda durante um rollback. O próprio rollback precisa ser um único comando cuja segurança foi ensaiada.

O que o Capítulo 16 prepara

O Capítulo 17 fecha o livro olhando para as ameaças que ainda emergem em meados de 2026: agentes autônomos que compõem saída de modelo com uso de ferramentas e rodam por centenas de passos sem supervisão; modelos multimodais cuja superfície de entrada agora inclui imagens e áudio; identidades sintéticas que erodem a suposição de que a entidade do outro lado de um canal é quem afirma ser; e a corrida armamentista IA contra IA em que tanto atacantes quanto defensores são eles mesmos modelos. As preocupações de fine-tuning deste capítulo não desaparecem nesse mundo; se intensificam. Um modelo cujo alinhamento derivou em silêncio três semanas atrás se torna um problema muito maior quando também é o orquestrador de um agente com acesso a shell.

Próximo — Capítulo 17: Ameaças Futuras e Defesas Emergentes. Agentes autônomos, superfícies de ataque multimodais, identidade sintética, dinâmicas IA contra IA e o formato do assurance de IA como a disciplina em que ele está se tornando.