Capítulo 7 — Alucinaciones y fiabilidad

Séptima entrega del recorrido capítulo por capítulo de LLM Primer VII: Seguridad de la IA. El capítulo que trata la fiabilidad como una propiedad de seguridad — porque una salida confiadamente incorrecta es un problema de seguridad siempre que las consecuencias dependan de la corrección.

Por qué existe este capítulo

Las alucinaciones eran originalmente un término de generación de lenguaje natural para salidas que contenían información no respaldada por su fuente. Aplicado a los LLM, el fenómeno se divide en dos sentidos útiles: fallos de facticidad, donde el modelo contradice hechos establecidos, y fallos de fidelidad, donde el modelo deriva de las instrucciones del usuario o del contexto proporcionado. Ambos importan y ambos tienen mecanismos específicos. La revisión de ACM Computing Surveys de Ji et al. de 2023 y la taxonomía de Huang et al. del mismo año dieron al campo su vocabulario. Este capítulo trata la fiabilidad como una propiedad de seguridad de primera clase, porque un sistema que actúa sobre la salida del modelo es tan seguro como correcta sea esa salida — y el modelo no tiene un mecanismo incorporado para saber cuándo no sabe.

7.1 Las alucinaciones tienen mecanismos, no estados de ánimo

Los modelos de lenguaje predicen tokens muestreando de una distribución sobre la que el objetivo de entrenamiento depositó masa. La distribución está conformada por la frecuencia en el corpus de entrenamiento, por los sesgos inductivos del modelo y por cualquier entrenamiento de alineamiento aplicado después. Ninguno de estos mecanismos selecciona por corrección fáctica del modo en que una consulta de base de datos lo hace. Los fallos de facticidad ocurren cuando el modelo afirma algo contradicho por el mundo — una fecha incorrecta, una cita fabricada, la firma de una función inexistente. Los fallos de fidelidad ocurren cuando la salida del modelo deriva de la intención del usuario o del contexto proporcionado — responde a una pregunta ligeramente distinta, ignora partes de un pasaje que el usuario pidió resumir, razona de forma inconsistente a lo largo de una respuesta larga. Las dos categorías se solapan pero necesitan diagnósticos distintos. Los mecanismos incluyen dinámicas de próximo-token que intercambian fluidez por precisión en generaciones largas, la infrarrepresentación en el corpus de hechos de nicho, el entrenamiento de alineamiento que desincentiva decir «no sé» y patrones de prompt que empujan al modelo hacia la plausibilidad más que hacia la verdad. Entender el mecanismo es lo que hace la mitigación dirigida en lugar de performativa.

7.2 La confianza no es corrección

Un sistema probabilístico calibrado tiene confianzas declaradas que coinciden con su precisión: cuando dice 80 %, acierta el 80 % de las veces sobre una muestra grande. El artículo ICML 2017 de Guo y colegas «On Calibration of Modern Neural Networks» reportó un resultado llamativo — las redes neuronales modernas son sistemáticamente demasiado confiadas. Un modelo que dice 80 % puede acertar el 65 %; uno que dice 99 % puede acertar el 88 %. El mecanismo es el objetivo de entropía cruzada, que recompensa poner masa en la clase correcta sin penalizar el exceso de confianza. Los modelos más grandes y expresivos ajustan los datos de entrenamiento con más apretura, produciendo distribuciones más agudas sobre ejemplos de test que superficialmente parecen entrenamiento. Para los LLM el problema es más pronunciado porque las salidas son secuencias de tokens, el entrenamiento de alineamiento remodela la distribución de formas que pueden mover probabilidades sin mover precisión, y los usuarios leen una frase segura como evidencia de que el modelo sabe lo que dice. La brecha entre confianza y corrección es la razón por la que la ingeniería de fiabilidad no puede confiar simplemente en la señal del propio modelo.

7.3 La calibración y la verificación híbrida son el arreglo operativo

Las técnicas de calibración se dividen en tiempo de entrenamiento y tiempo de inferencia. El escalado de temperatura, introducido por Guo et al. en el mismo artículo de 2017, es el estándar: tras el entrenamiento, se ajusta un único escalar que divide los logits pre-softmax hasta que se minimiza el error de calibración sobre un conjunto retenido. Las predicciones no cambian; las probabilidades sí. La confianza verbalizada — pedir al modelo que emita una estimación de confianza junto con su respuesta — se ha estudiado desde 2022 y funciona hasta cierto punto, pero la confianza declarada del modelo es a su vez un token de lenguaje sometido a las mismas presiones distribucionales. El muestreo por auto-consistencia genera múltiples completaciones y vota; el acuerdo correlaciona con la corrección mejor que la probabilidad de cualquier completación individual. Las arquitecturas híbridas hacen más trabajo. La generación aumentada por recuperación, como técnica de fiabilidad, ha sido la más consistentemente eficaz — el leaderboard Vectara HHEM ha llevado a sistemas RAG bien configurados por debajo del 1 % de tasa de alucinación en resumen de datos factuales donde la generación desnuda supera el 5 % en las mismas tareas. Los pipelines de verificación estructurada pasan la salida por un segundo modelo que la contrasta contra documentos fuente. La revisión human-in-the-loop sigue siendo la defensa más fuerte para salidas de alto riesgo, sujeta a los dos modos de fallo que el campo ya ha nombrado: revisión con sello de goma a escala y revisión sin contexto donde el revisor carece del material fuente para verificar el reclamo del modelo.

Lo que prepara el Capítulo 7

El capítulo 8 pasa de los modos de fallo incidentales a los deliberados — ataques adversariales que tratan al modelo como objetivo y construyen entradas diseñadas para manipular salidas en direcciones que el operador no pretendía. El capítulo recorre el linaje desde el FGSM de Goodfellow en 2014 pasando por el trabajo específico de NLP — HotFlip, TextFooler, BERT-ATTACK — hasta el trabajo de trigger adversarial universal de Wallace y colegas y el trabajo de sufijo universal de Zou y colegas ya tratado en el capítulo 4. Después recorre los ataques black-box contra APIs y el robo de modelos, desde el artículo USENIX 2016 de Tramèr hasta el artículo ICML 2024 de Carlini extrayendo capas de proyección de embedding de producción. El capítulo 9 completa la parte III con la cadena de suministro: modelos con puertas traseras, safetensors frente a pickle, firmado con Sigstore y monitorización de drift.

Próximamente — Capítulo 8: Ataques adversariales contra modelos. Ataques basados en gradiente sobre un espacio de entrada discreto, ataques black-box a través de APIs y el robo de modelos como preocupación de confidencialidad más seguridad.