Capítulo 8 — Ataques adversariales contra modelos

Octava entrega del recorrido capítulo por capítulo de LLM Primer VII: Seguridad de la IA. El capítulo que traza los ataques adversariales desde el trabajo de Goodfellow sobre clasificadores de imagen en 2014 pasando por TextFooler y los sufijos universales hasta el robo de modelos contra APIs de producción.

Por qué existe este capítulo

El capítulo 4 trató la inyección de prompts como la cara práctica de la entrada adversarial en sistemas LLM. El capítulo 8 recorre la tradición de investigación subyacente. El artículo de Goodfellow, Shlens y Szegedy de 2014 «Explaining and Harnessing Adversarial Examples» sostuvo que las entradas adversariales no son una patología sino una consecuencia del comportamiento casi lineal de los modelos en espacios de entrada de alta dimensión. Ese marco pasó a NLP a través de trabajos que resolvieron el problema de la entrada discreta — HotFlip, TextFooler, BERT-ATTACK — y a los LLM a través de los triggers adversariales universales y, más recientemente, el trabajo de sufijo universal de Zou et al. que se transfirió entre APIs de código cerrado. Junto a la entrada adversarial se sitúa el robo de modelos, un ataque de confidencialidad cuyo sustituto extraído se convierte en una rampa de lanzamiento para entradas adversariales.

8.1 El linaje desde FGSM hasta los sufijos universales

El Fast Gradient Sign Method de Goodfellow — perturbar cada dimensión de entrada en épsilon por el signo del gradiente de la pérdida — fue el ataque white-box canónico para entradas continuas. El texto resistió el enfoque porque los tokens son discretos: moverse a lo largo del gradiente del embedding deja el espacio de tokens por completo. La literatura de ejemplos adversariales de NLP fue en gran parte sobre encontrar buenas aproximaciones discretas. HotFlip (Ebrahimi et al., ACL 2018) usó un único cambio de carácter que más alteraba la pérdida. TextFooler (Jin et al., AAAI 2020) sustituyó sinónimos con beam search bajo restricciones de similitud semántica. BERT-ATTACK usó un modelo de lenguaje enmascarado para proponer sustituciones candidatas. Los triggers adversariales universales de Wallace et al. encontraron secuencias de tokens cortas que, antepuestas a entradas arbitrarias, inducían mal comportamiento dirigido. «Universal and Transferable Adversarial Attacks on Aligned Language Models», de Zou et al. de 2023, mostró que los sufijos optimizados por gradiente derivados de modelos de código abierto se transfirieron a los de código cerrado consultados a través de API — la distinción teórica entre white-box y black-box se derrumbó, en la práctica, porque los atacantes tenían acceso white-box a suficientes modelos sustitutos como para generar ataques transferibles. Esa transferibilidad es lo que hizo importante el trabajo de sufijo universal para despliegues de producción que pensaban que la opacidad de su API los protegía.

8.2 Los ataques black-box son más baratos de lo que sugiere el presupuesto de API

Los LLM comerciales de consecuencia no exponen los pesos. El modelo de amenaza relevante es black-box: el atacante paga por el acceso a la API, envía consultas, observa respuestas y refina. La literatura ha mostrado ataques sorprendentemente fuertes en este escenario. La búsqueda por fuerza bruta sobre variantes de un prompt maneja superficies de ataque pequeñas — sufijos adversariales cortos, sustituciones de una sola palabra — y es el caballo de batalla del jailbreaking práctico. Los métodos eficientes en consultas usan la propia señal de salida del modelo como proxy del gradiente que el atacante no puede calcular directamente: si la respuesta cambia de forma detectable cuando un token cambia, el atacante puede escalar hacia el objetivo. La generación automatizada de jailbreaks — PAIR (Chao et al. 2023), TAP (Mehrotra et al. 2023) — usa un LLM atacante para proponer refinamientos contra el feedback del objetivo. La economía importa. Los costes de consulta son céntimos; el gasto total del atacante para desarrollar un jailbreak funcional suele ser inferior a cincuenta dólares y produce un ataque que generaliza entre usuarios, sesiones y a veces entre versiones del modelo. Ese es un perfil de atacante muy distinto de «alguien con un clúster de GPUs académico».

8.3 El robo de modelos convierte black-box en white-box efectivo

El robo de modelos — extracción de modelos — es la clase en la que el objetivo del atacante no es manipular una salida específica sino reconstruir suficiente del comportamiento del objetivo como para usar la reconstrucción como sustituto. El artículo USENIX Security 2016 de Tramèr y colegas «Stealing Machine Learning Models via Prediction APIs» estableció la línea de investigación contra Amazon Machine Learning, BigML y servicios similares. El artículo ICLR 2020 de Krishna y colegas «Thieves on Sesame Street» mostró extracción contra modelos tipo BERT. El artículo ICML 2024 de Carlini y colegas «Stealing Part of a Production Language Model» demostró la extracción de la capa de proyección de embeddings de modelos de producción, incluidos los de OpenAI, mediante consultas API dirigidas — una extracción parcial que sin embargo reveló dimensiones ocultas e información estructural que el proveedor no había pretendido publicar. La consecuencia de seguridad, más allá de la pérdida de confidencialidad, es que un sustituto extraído es un objetivo white-box para generar ejemplos adversariales transferibles contra el original. La capa defensiva es composicional: límites de tasa por cuenta, por clave, por IP y por inquilino; detección de anomalías sobre patrones de consulta que sugieran extracción (distribuciones uniformes, variaciones sistemáticas de prompt, salidas de alta entropía); y detección de entrada adversarial en la frontera. La investigación de watermarking pretende hacer detectables los modelos extraídos, pero el estado del arte aún está evolucionando.

Lo que prepara el Capítulo 8

El capítulo 9 gira hacia una clase de riesgo más fundamental que las entradas fabricadas contra un modelo conocido como bueno: ataques contra el propio modelo antes del despliegue, a través de la cadena de suministro que lo produjo. Un atacante que controla datos de entrenamiento, pesos del modelo en cualquier punto entre entrenamiento y despliegue o dependencias en tiempo de inferencia tiene una posición más fuerte que cualquier atacante del espacio de entrada. El capítulo traza la línea BadNets de Gu et al. de 2017 pasando por su traducción a LLMs, incluida la investigación «Sleeper Agents» de Anthropic de 2024 que demostró puertas traseras entrenadas persistiendo tras el entrenamiento de seguridad. Recorre los riesgos a nivel de formato — vulnerabilidades de deserialización de pickle catalogadas como CVE-2024-3568 y entradas adyacentes, safetensors como alternativa más segura — y los patrones de pipeline de despliegue (firmado de modelos, verificación de hash, SLSA, Sigstore) que las organizaciones de IA de producción han adoptado para cerrar la brecha.

Próximamente — Capítulo 9: Integridad del modelo y riesgos de la cadena de suministro. BadNets, Sleeper Agents, pickle frente a safetensors, Sigstore para artefactos de modelo, y la monitorización de drift como contraparte continua de la integridad en tiempo de despliegue.