Capítulo 16 — Ajuste fino y adaptación seguros

Decimosexta entrega del recorrido capítulo por capítulo de LLM Primer VII: Seguridad de la IA. El capítulo que trata un modelo ajustado como un artefacto cuyas propiedades de seguridad deben ganarse, no heredarse — porque los mismos pasos de gradiente que enseñan vocabulario de dominio pueden erosionar el alineamiento con el que llegó el modelo base.

Por qué existe este capítulo

El ajuste fino parece una operación de bajo riesgo. Un equipo toma un modelo base bien alineado, lo ajusta sobre sus datos de dominio y espera que el comportamiento alineado sobreviva. La literatura empírica ha sido clara desde 2023 en que esa expectativa es errónea. El artículo ICLR 2024 de Qi et al. «Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!» mostró que incluso datos benignos de instrucción pueden bajar las tasas de rechazo en benchmarks de dañinez. «Shadow Alignment» de Yang et al. de 2023 mostró que cien ejemplos deliberadamente elaborados pueden subvertir un modelo de pesos abiertos alineado con seguridad. El capítulo recorre los mecanismos, el modelo de amenazas de envenenamiento, las puertas de evaluación que capturan regresiones en CI, las técnicas de alineamiento que reinstalan lo que el tuning erosionó, y la disciplina de rollback que convierte las malas actualizaciones en operaciones de rutina.

16.1 El alineamiento se erosiona por el mecanismo que entrena el comportamiento

La adaptación al dominio suele estar bien motivada. El modelo base es demasiado general, el equipo tiene un corpus que captura cómo habla su dominio, el ajuste estrecha el comportamiento hacia algo más preciso y más alineado con la marca. Lo que se pasa por alto es que estrechar no es gratis. Los mismos pasos de gradiente que enseñan vocabulario de dominio reponderan también todo otro comportamiento, incluidos los comportamientos que impedían al modelo generar síntesis de armas biológicas o escribir phishing convincente. Qi et al. lo midieron directamente ajustando finamente una variante Llama-2 tuneada para seguridad sobre el dataset de instrucciones Alpaca — disponible públicamente, sin contenido obviamente dañino — y observando que las tasas de rechazo en benchmarks de dañinez bajaron sustancialmente. Nada en el conjunto de entrenamiento pedía al modelo ser menos seguro. La señal la portaba la ausencia de demostraciones de rechazo: el modelo aprendió que las respuestas serviciales eran recompensadas y que rechazar rara vez se modelaba, y generalizó esa lección a peticiones donde el rechazo había sido el default entrenado. El mecanismo es lo que hace el descenso por gradiente cuando el objetivo es «sigue la instrucción» y las demostraciones casi nunca rechazan. Las mitigaciones son arquitectónicas — mezclar ejemplos de rechazo en el conjunto de ajuste, usar técnicas como DPO o KTO que preservan el comportamiento del modelo de referencia, aplicar reentrenamiento de seguridad tras la adaptación al dominio — pero ninguna es automática.

16.2 El envenenamiento deliberado es un ataque de pocos datos

Si la erosión accidental es el caso común, el envenenamiento es el peor. El modelo de amenaza es sencillo: un atacante contribuye alguna fracción de los datos de ajuste con el objetivo de instalar un comportamiento específico que el desplegador no notará en la evaluación. El comportamiento puede ser una puerta trasera (salida disparada por frase disparador), un levantamiento de rechazo (cumplimiento donde el modelo base rechazaba), una inserción de contenido (recomendar un producto o un partido específico cuando se pregunta cosas no relacionadas) o una desalineación de largo horizonte que se activa bajo condiciones específicas. «Shadow Alignment» de Yang et al. mostró que cien pares adversariales, estructurados como instrucción-respuesta ordinaria, podían subvertir el comportamiento de seguridad de un modelo grande de pesos abiertos. Qi et al. en ICLR 2024 replicaron a escala menor: aproximadamente diez ejemplos bien elegidos bastaban para comprometer materialmente el alineamiento. Los ejemplos no necesitaban ser exóticos. Mezclados con datos benignos, el dataset se veía sin nada llamativo. La superficie de amenaza se ensancha con el número de partes que contribuyen datos — envíos de clientes a un pipeline de etiquetado, contratistas etiquetando datos, empleados preparando corpus internos de ajuste, datasets abiertos upstream. Cada uno es un canal potencial de inyección, y la postura defensiva es de disciplina de procedencia: cada ejemplo de entrenamiento tiene que ser trazable a su origen, y el origen tiene que ser confiable al nivel que el resultado del ajuste requiere.

16.3 Las puertas de evaluación y el rollback son la red de seguridad operativa

Un checkpoint ajustado no es un modelo desplegable. Es un candidato. La brecha se cierra con evaluación — tanto evaluación de capacidad que confirma que el modelo sigue haciendo su trabajo como evaluación de seguridad que confirma que no ha regresado. El modelo mental correcto es una puerta de despliegue, no un informe de benchmark. Una puerta tiene criterios de aprobado/reprobado, umbrales fijados de antemano y una consecuencia definida cuando los criterios no se cumplen — no hay promoción a staging, no hay tráfico, ticket automático. Bajo presión de plazo, los informes de benchmark se vuelven consultivos; las puertas impuestas por CI son las que realmente aguantan. Las técnicas de alineamiento que restauran la seguridad tras la erosión por tuning incluyen mezclar ejemplos de rechazo en el conjunto de ajuste, RLHF o DPO sobre preferencias de rechazo, IA Constitucional (Bai et al., Anthropic, 2022) como enfoque en tiempo de entrenamiento que escala sin etiquetado humano, y entrenamiento continuado con tuning de seguridad sobre conjuntos canario. Todo modelo ajustado se comportará mal eventualmente. La única pregunta es si el equipo puede volver a una versión conocida como buena en minutos o pasa un día en respuesta a incidentes. La diferencia es la disciplina antes del despliegue. Un registro de modelos — MLflow Model Registry, AWS SageMaker, Vertex AI, o equivalentes internos — que rastrea cada artefacto, su procedencia, sus resultados de evaluación, su estado de despliegue y su linaje es el patrón fundacional. Un registro que no registra los resultados de evaluación es un almacén de artefactos; un almacén de artefactos no ayuda durante un rollback. El rollback en sí tiene que ser un único comando cuya seguridad se ha ensayado.

Lo que prepara el Capítulo 16

El capítulo 17 cierra el libro mirando hacia adelante, a amenazas que aún están emergiendo a mediados de 2026: agentes autónomos que componen salida de modelo con uso de herramientas y corren por cientos de pasos sin supervisión; modelos multimodales cuya superficie de entrada ahora incluye imágenes y audio; identidades sintéticas que erosionan la suposición de que la entidad al otro lado de un canal es quien dice ser; y la carrera armamentística IA-contra-IA en la que tanto atacantes como defensores son ellos mismos modelos. Las preocupaciones de ajuste fino de este capítulo no desaparecen en ese mundo; se intensifican. Un modelo cuyo alineamiento derivó silenciosamente hace tres semanas se convierte en un problema mucho mayor cuando es también el orquestador de un agente con acceso a shell.

Próximamente — Capítulo 17: Amenazas futuras y defensas emergentes. Agentes autónomos, superficies de ataque multimodales, identidad sintética, dinámicas IA-contra-IA y la forma que va tomando el aseguramiento de IA como la disciplina en la que se está convirtiendo.