Capítulo 17 — Amenazas futuras y defensas emergentes

Decimoséptima y última entrega del recorrido capítulo por capítulo de LLM Primer VII: Seguridad de la IA. El capítulo que mira más allá de las disciplinas ya maduras como para escribirlas y nombra aquellas que la comunidad todavía está resolviendo — agentes autónomos, superficies de ataque multimodales, identidad sintética y la carrera armamentística IA-contra-IA de mediados de 2026.

Por qué existe este capítulo

Los capítulos 1 a 16 recorrieron las disciplinas de seguridad ya lo bastante maduras como para escribirse. El capítulo 17 recorre las que todavía están tomando forma. El contraste importa. Los capítulos anteriores respondían a «sabemos cómo hacer esto y la pregunta es si tu organización lo hará». Este responde a «la comunidad aún está averiguando qué pinta tiene lo bueno, y las respuestas del año que viene pueden ser distintas de las de este año». Ambos tipos de trabajo son reales, y ambos pertenecen al repertorio del ingeniero. El primero mantiene los sistemas seguros hoy. El segundo los mantiene seguros dentro de dos años.

17.1 Los agentes autónomos multiplican el radio de daño por el presupuesto de herramientas

Un agente autónomo es un sistema en el que a un modelo de lenguaje se le da un objetivo, un conjunto de herramientas y la autoridad para llamar a esas herramientas en secuencia sin revisión humana en cada paso. El modelo decide qué hacer a continuación; las herramientas se ejecutan; los resultados realimentan; el bucle continúa hasta que el objetivo se alcanza o se dispara una condición de parada. AutoGPT y BabyAGI prototiparon el patrón públicamente a comienzos de 2023; LangChain lo formalizó; el uso de ordenador de Claude de Anthropic (octubre de 2024) y Operator de OpenAI (enero de 2025) lo convirtieron en productos comerciales que dan a un modelo autoridad sobre un navegador o un escritorio. Las propiedades de seguridad son de distinto tipo a las de la generación de turno único. Un modelo que produce una completación tiene autoridad para escribir texto sobre el que la aplicación pueda actuar. Un modelo que opera un navegador tiene, en el peor caso, autoridad para hacer cualquier cosa que un navegador pueda, sin un punto de revisión humana. Las mitigaciones compuestas desde capítulos anteriores — allow-lists de herramientas, tokens de capacidad con alcance estrecho, comprobaciones de política por herramienta fuera del modelo, confirmación humana para acciones de alto impacto, límites duros de pasos, topes de presupuesto — se aplican aquí con énfasis afinado. La autonomía del agente es una decisión de diseño tomada por adelantado ante cualquier incidente específico, y el diseño decide el techo de cualquier compromiso.

17.2 Las superficies multimodales ensanchan el canal de inyección en órdenes de magnitud

Un modelo solo de texto lee lo que el tokenizador reconoce. Un modelo de visión-lenguaje lee imágenes cuyo ancho de banda a nivel de píxel supera cualquier cosa que el texto pueda transportar, y la aplicación circundante habitualmente no puede inspeccionar lo que contiene una imagen del modo en que puede inspeccionar una cadena. El artículo de Schlarmann y Hein de 2023 «On the Adversarial Robustness of Multi-Modal Foundation Models» mostró que perturbaciones imperceptibles para el humano en una imagen podían cambiar sustancialmente las salidas de texto de un VLM — el ataque clásico de ejemplo adversarial adaptado a una modalidad nueva. El texto empotrado en imágenes (capturas de pantalla, memes, escaneados de documentos) es otra superficie: instrucciones detectadas por OCR en una imagen pueden ser inyección indirecta de prompts a través del canal visual. Los modelos audio-lenguaje toman entrada hablada; se han demostrado perturbaciones de audio adversariales, algunas inaudibles para humanos. El vídeo añade ambos canales juntos. Cada modalidad es una superficie de inyección nueva, y el trabajo defensivo apenas empieza a alcanzar: escáneres pre-VLM que marcan o eliminan texto detectado por OCR en imágenes; etiquetas de procedencia sobre entradas multimodales; entrenamiento de alineamiento que trata los canales visual y de audio con la misma sospecha que el texto; y filtrado de salida consciente de modalidad. El patrón de capítulos anteriores — no permitas que las fronteras de confianza colapsen en una única entrada — se extiende a modalidades que los capítulos anteriores no tenían que nombrar.

17.3 La identidad sintética y el IA-contra-IA remodelan el perímetro

Las dos primeras secciones trataron al modelo como objetivo. La tercera lo trata como herramienta. Un modelo generativo cuyas salidas son indistinguibles de la producción humana auténtica socava cualquier mecanismo de seguridad que dependa de que la autenticidad sea detectable. La voz sintética generada a partir de minutos de habla alimenta el vishing contra personal financiero que reconoce la voz del CEO. El vídeo deepfake fabrica material de figuras públicas. El texto sintético imita la escritura de una persona específica en compromisos de correo empresarial. Nada de esto es exótico para 2026; las herramientas son commodities, el coste por generación es de céntimos. La respuesta defensiva ha sido infraestructura de procedencia — C2PA para credenciales de contenido, investigación de watermarking, firmado criptográfico de medios auténticos — y un refuerzo de verificación de identidad allí donde las decisiones de alto riesgo descansan sobre la autenticidad del canal. La trayectoria defensiva más amplia es IA-contra-IA: sistemas de seguridad construidos sobre modelos de lenguaje, desplegados para defender contra ataques generados o amplificados por otros modelos de lenguaje. El red teaming automatizado — NVIDIA Garak, Microsoft PyRIT — sustituye modelo por humano en el lado atacante. Los guardrails, los clasificadores de seguridad y la detección de anomalías sustituyen modelo por humano en el lado defensor. La carrera armamentística es incómoda pero es la realidad operativa. El aseguramiento de IA, la disciplina emergente de mostrar que un sistema de IA cumple sus requisitos con una confianza definida, es lo que intenta darle a esa carrera un apoyo estable — infraestructura de evaluación continua, certificación por terceros, normas de divulgación de incidentes y el trabajo de estándares que las comunidades ISO/IEC 42001 y NIST AI RMF están extendiendo.

La serie termina aquí

El capítulo 17 es el último capítulo de LLM Primer VII, y con él el último capítulo de la serie LLM Primer en su conjunto. El Volumen I introdujo la arquitectura de los modelos de lenguaje basados en transformer desde el mecanismo de atención hacia fuera. El Volumen II cubrió el entrenamiento, el alineamiento y el ciclo de vida práctico de construir uno. El Volumen III examinó la generación aumentada por recuperación y los pipelines de datos que la rodean. El Volumen IV miró la evaluación, el tooling y las prácticas de ingeniería que rodean al modelo en producción. El Volumen V trabajó los patrones de agente y uso de herramientas que este capítulo ha tratado ahora bajo su aspecto adversarial. El Volumen VI cubrió la infraestructura de inferencia y los patrones de escalado a escala organizacional. El Volumen VII, este, ha tratado de defender todo lo anterior. Los siete volúmenes se escribieron como un mapa conectado. A los lectores que llegan a este capítulo sin haber visitado los volúmenes anteriores se les anima a volver, porque muchos de los reclamos de seguridad de este libro descansan sobre detalles arquitectónicos que aquellos volúmenes establecen.

El volumen hermano, Physical AI, extiende el mapa hacia los sistemas encarnados — robots, vehículos autónomos y los despliegues en el mundo físico donde el mismo sustrato probabilístico ahora controla actuadores y comparte espacio físico con humanos. Las preocupaciones de seguridad de este volumen pasan con modificaciones: la inyección de prompts a través del canal de visión se convierte en una preocupación de safety con un metro de alcance físico; la frontera de herramientas es ahora un controlador de motor; las entradas adversariales son objetos colocados en el entorno de operación. Las disciplinas de estos siete volúmenes son requisitos previos para ese trabajo en lugar de sustitutos, y el arco desde la atención transformer pasando por la infraestructura y por la seguridad continúa en el mundo físico, donde las apuestas se vuelven tangibles.

Gracias por leer el walkthrough. El propio libro contiene los ejemplos desarrollados, el código ejecutable, los playbooks de incidentes y las cápsulas «In Plain English» en forma más extensa de lo que estos artículos tienen espacio. Si algo de esto ha sido útil, el siguiente paso de mayor impacto es aplicar el marco al sistema específico que tu organización está defendiendo — el modelo de amenazas del capítulo 2, las mitigaciones por capas de los capítulos 4 y 5, los patrones de arquitectura del capítulo 10, la observabilidad del capítulo 11 y la disciplina organizacional del capítulo 15 son las piezas portantes.