Capítulo 7 — Alucinações e Confiabilidade

Sétimo post do passeio capítulo a capítulo pelo LLM Primer VII: Segurança de IA. O capítulo que trata confiabilidade como propriedade de segurança — porque uma saída confidentemente errada é problema de segurança sempre que as consequências dependem de correção.

Por que este capítulo existe

Alucinações eram originalmente um termo da geração de linguagem natural para saídas que continham informação não sustentada por sua fonte. Aplicado a LLMs, o fenômeno se divide em dois sentidos úteis: falhas de factualidade, em que o modelo contradiz fatos estabelecidos, e falhas de fidelidade, em que o modelo se afasta das instruções do usuário ou do contexto fornecido. As duas importam, e as duas têm mecanismos específicos. A revisão de Ji et al. no ACM Computing Surveys de 2023 e a taxonomia de Huang et al. no mesmo ano deram ao campo seu vocabulário. Este capítulo trata confiabilidade como propriedade de segurança de primeira classe, porque um sistema que age sobre a saída do modelo é apenas tão seguro quanto a saída é correta — e o modelo não tem mecanismo interno para saber quando não sabe.

7.1 Alucinações têm mecanismos, não humores

Modelos de linguagem prevêem tokens amostrando de uma distribuição em que o objetivo de treinamento colocou massa. A distribuição é moldada pela frequência no corpus de treinamento, pelos vieses indutivos do modelo e por qualquer alignment training aplicado depois. Nenhum desses mecanismos seleciona por correção factual do jeito que uma query de banco de dados faz. Falhas de factualidade acontecem quando o modelo afirma algo contradito pelo mundo — uma data errada, uma citação fabricada, uma assinatura de função inexistente. Falhas de fidelidade acontecem quando a saída do modelo se afasta da intenção do usuário ou do contexto fornecido — respondendo a uma pergunta um pouco diferente, ignorando partes de um trecho que o usuário pediu para resumir, raciocinando de forma inconsistente ao longo de uma resposta longa. As duas categorias se sobrepõem mas exigem diagnósticos diferentes. Os mecanismos incluem dinâmicas de próximo token que trocam correção por fluência em gerações longas, sub-representação de fatos de nicho na distribuição dos dados de treinamento, alignment training que desencoraja dizer "não sei" e padrões de prompt que empurram o modelo para plausibilidade em vez de verdade. Entender o mecanismo é o que torna a mitigação alvo em vez de performática.

7.2 Confiança não é correção

Um sistema probabilístico calibrado tem confianças declaradas que correspondem à sua acurácia: quando diz 80%, ele acerta 80% das vezes em uma grande amostra. O paper de Guo e colegas no ICML 2017, "On Calibration of Modern Neural Networks", trouxe um resultado marcante — redes neurais modernas são sistematicamente superconfiantes. Um modelo que diz 80% pode estar certo em 65%; um que diz 99% pode estar certo em 88%. O mecanismo é o objetivo de entropia cruzada, que recompensa colocar massa na classe correta sem penalizar superconfiança. Modelos maiores e mais expressivos ajustam os dados de treinamento com mais aperto, produzindo distribuições mais afiadas em exemplos de teste que superficialmente lembram treinamento. Para LLMs o problema é mais pronunciado porque as saídas são sequências de tokens, o alignment training remolda a distribuição de formas que podem mover probabilidades sem mover acurácia, e usuários lêem uma frase confiante como evidência de que o modelo sabe do que está falando. O gap entre confiança e correção é o motivo pelo qual engenharia de confiabilidade não pode simplesmente confiar no sinal do próprio modelo.

7.3 Calibração e verificação híbrida são a correção operacional

As técnicas de calibração se dividem em tempo de treinamento e tempo de inferência. Temperature scaling, introduzido por Guo et al. no mesmo paper de 2017, é o padrão: após o treinamento, ajustar um único escalar que divide os logits pré-softmax até que o erro de calibração seja minimizado em um conjunto held-out. As predições não mudam; as probabilidades sim. Confiança verbalizada — pedir ao modelo que emita uma estimativa de confiança junto com a resposta — vem sendo estudada desde 2022 e funciona até certo ponto, mas a confiança declarada é ela mesma um token de linguagem sujeito às mesmas pressões distribucionais. Amostragem por self-consistency gera múltiplas completudes e vota; a concordância correlaciona com correção melhor do que a probabilidade de qualquer completude isolada. Arquiteturas híbridas fazem mais trabalho. Geração aumentada por recuperação, como técnica de confiabilidade, tem sido a mais consistentemente eficaz — o leaderboard HHEM da Vectara acompanhou sistemas RAG bem configurados abaixo de 1% de taxa de alucinação em sumarização factoide, onde a geração pura ultrapassa 5% nas mesmas tarefas. Pipelines estruturados de verificação passam a saída por um segundo modelo que checa os fatos contra documentos-fonte. Revisão humana no loop continua sendo a defesa mais forte para saídas de alto risco, sujeita aos dois modos de falha que o campo já nomeou: revisão carimbo em escala e revisão sem contexto, em que o revisor não tem o material-fonte para verificar a alegação do modelo.

O que o Capítulo 7 prepara

O Capítulo 8 passa de modos de falha incidentais para modos deliberados — ataques adversariais que tratam o modelo como alvo e constroem entradas projetadas para manipular saídas em direções que o operador não pretendia. O capítulo percorre a linhagem de FGSM de Goodfellow em 2014 até trabalho específico de NLP — HotFlip, TextFooler, BERT-ATTACK — até os universal adversarial triggers de Wallace e colegas e o trabalho de sufixo universal de Zou e colegas mencionado no Capítulo 4. Depois percorre ataques black-box contra APIs e model stealing, do paper de Tramèr na USENIX 2016 até o paper de Carlini no ICML 2024 extraindo camadas de projeção de embedding em produção. O Capítulo 9 completa a Parte III com a cadeia de suprimentos: modelos com backdoor, safetensors versus pickle, assinatura Sigstore e monitoramento de drift.

Próximo — Capítulo 8: Ataques Adversariais a Modelos. Ataques baseados em gradiente em um espaço de entrada discreto, ataques black-box por APIs e model stealing como preocupação de confidencialidade combinada com segurança.