Capítulo 3 — Seguridad de datos y privacidad

Tercera entrega del recorrido capítulo por capítulo de LLM Primer VII: Seguridad de la IA. El capítulo que trata los datos como un activo con ciclo de vida — desde corpus de entrenamiento que el modelo ha memorizado parcialmente hasta entradas de usuario que ingenieros de Samsung pegaron en ChatGPT antes de que el incidente tuviera nombre.

Por qué existe este capítulo

El modelo de amenazas del capítulo 2 nombró los datos como una de seis categorías de activos. La seguridad de datos en sistemas LLM tiene propiedades distintivas suficientes para merecer un capítulo propio. Los corpus de entrenamiento contienen material con derechos de autor, información personal y contenido con licencia cuyos términos van cambiando con el tiempo. Los modelos entrenados memorizan fragmentos de ese corpus de maneras que un atacante puede extraer. Las entradas de producción son a su vez datos sensibles — el incidente de Samsung de abril y mayo de 2023 lo puso fuera de toda duda — y su manejo es una preocupación de seguridad independiente del comportamiento del modelo. La actuación del Garante italiano contra ChatGPT en marzo de 2023 estableció que la ley de protección de datos se aplica a estos sistemas hayan diseñado o no sus desarrolladores para ello. Este capítulo recorre el ciclo de vida de los datos desde la ingesta hasta el borrado.

3.1 Los corpus de entrenamiento cargan copyright, PII y deriva de licencias

Los modelos de frontera se entrenan sobre corpus demasiado grandes para que ningún humano los lea de principio a fin — Common Crawl, Wikipedia, libros, texto web scrapeado, código, feeds con licencia, datos sintéticos. La escala es la fuente de la capacidad y la fuente del riesgo. El primer riesgo es el copyright: el estatus legal del entrenamiento sobre material con derechos de autor se ha disputado desde 2023, con demandas importantes de organizaciones de noticias, autores, titulares de derechos de imagen y garantes de licencias de código, y las posturas de la Oficina de Copyright de EE. UU., la UE y el Reino Unido convergen en el reconocimiento de que el entrenamiento es, al menos a veces, una actividad relevante para el copyright. El segundo es la información personal: los corpus web scrapeados inevitablemente contienen nombres, datos de contacto, historiales profesionales, registros judiciales, bases de datos filtradas y credenciales. El RGPD, la CCPA/CPRA, la PIPL, la DPDPA, la LGPD y la PIPEDA se aplican a estos independientemente de la ubicación del proveedor del modelo. La actuación del Garante italiano de marzo de 2023 contra ChatGPT fue el primer disparo regulatorio; han seguido más. El tercero es la deriva de licencias — la divergencia gradual entre lo que una organización cree que puede usar para entrenar y lo que los contratos subyacentes en realidad permiten. Un registro de licencias por corpus vinculado al manifiesto de datos de entrenamiento es la disciplina que mantiene esa respuesta definida.

3.2 La memorización es una propiedad; la extracción es un ataque

Un modelo entrenado es una compresión con pérdida y distribuida de sus datos de entrenamiento. La mayoría de los documentos de entrenamiento no son directamente recuperables, pero la compresión es imperfecta. El artículo de Carlini y colegas de USENIX 2021 «Extracting Training Data from Large Language Models» demostró que se podía inducir a GPT-2 a emitir verbatim ejemplos de entrenamiento — nombres, números de teléfono, direcciones de correo, fragmentos de código — con prefijos cuidadosamente elegidos. El seguimiento de ICLR 2023 «Quantifying Memorization Across Neural Language Models» mostró que la memorización escala con la capacidad del modelo, el tamaño del corpus y la duplicación de ejemplos: los modelos más grandes memorizan más, y la deduplicación ayuda pero no cierra la brecha. «Scalable Extraction of Training Data from (Production) Language Models», de Nasr y colegas de 2023, extendió el ataque a modelos alineados de producción, incluido ChatGPT, mediante un ataque de divergencia que rompía el seguimiento de instrucciones y devolvía el modelo a salidas brutas de entrenamiento. Conviene distinguir las dos ideas: la memorización es una propiedad del modelo; la extracción es lo que un adversario con acceso a la API hace con esa propiedad. Un modelo puede memorizar contenido que nunca se extrae, y un intento de extracción puede fallar contra un modelo cuya memorización sea alta. La pila de mitigación es la deduplicación, el entrenamiento de alineamiento que resiste la divergencia, el filtrado de salida contra coincidencias verbatim con cadenas canario y los límites de tasa que elevan el coste de los ataques de alta consulta.

3.3 Las entradas de usuario son una categoría de datos que necesita gestión

Los incidentes de Samsung de abril y mayo de 2023 — tres casos separados en los que ingenieros de semiconductores pegaron código fuente confidencial en ChatGPT — dejaron claro el punto en los términos más sencillos posibles. En un sistema integrado con LLM, la entrada del usuario es en sí misma una categoría de datos. Todo despliegue de producción tiene que responder, por escrito: qué categorías pueden los usuarios enviar legítimamente; qué categorías deben detectarse y bloquearse o redactarse antes de que el prompt alcance el modelo; dónde se almacenan las entradas, por parte de quién y durante cuánto tiempo; si se usan las entradas para cualquier entrenamiento posterior y si ha consentido el usuario; quién puede leerlas en forma almacenada; qué ocurre al recibir una solicitud de borrado. La ausencia de una respuesta es una laguna de política. Para sistemas que sirven dominios regulados, un pipeline de redacción entre la capa de cara al usuario y el modelo — Microsoft Presidio es un toolkit open source — detecta PII y enmascara, sustituye o rechaza según política. Las disciplinas operativas que protegen los datos en otros ámbitos se aplican todas: cifrado en reposo para los almacenes de entrenamiento, ajuste fino, plantillas de prompt, corpus de recuperación, log y caché; TLS o mTLS en tránsito; aislamiento por inquilino en almacenamiento, construcción de prompts y rutas de log; y una política de retención con un nivel de servicio definido para las solicitudes de borrado del artículo 17 del RGPD o de la CCPA. La fuga multi-tenant es el modo de fallo que más fiablemente pone fin a los despliegues; la disciplina para prevenirla es comparable al aislamiento multi-tenant de bases de datos, más el matiz de que el modelo mismo es compartido.

Lo que prepara el Capítulo 3

Los capítulos 1 a 3 completan la parte I: fundamentos. La parte II gira hacia el interior operativo. El capítulo 4 retoma la inyección de prompts y los jailbreaks — el problema OWASP LLM01 — apoyándose en la formulación original de Willison, el artículo de inyección indirecta de Greshake, el trabajo de sufijo universal de Zou et al., la taxonomía de jailbreak de Wei et al. y el entrenamiento de jerarquía de instrucciones de Wallace et al. El capítulo 5 desarrolla las capas de validación de entrada y filtrado de salida en disciplina operativa, con el tooling de guardrails y los frameworks de pruebas adversariales sobre los que el campo ha convergido. El capítulo 6 retoma específicamente la generación aumentada por recuperación, donde los riesgos de datos de este capítulo y los riesgos de inyección del capítulo 4 se encuentran. El principio que los conecta es que la seguridad en estos sistemas es una propiedad de la arquitectura, no una funcionalidad del modelo.

Próximamente — Capítulo 4: Inyección de prompts y jailbreaks. Por qué la analogía con la inyección SQL solo llega hasta cierto punto, las familias de jailbreak que han sobrevivido a cada actualización de modelo y la estrategia de mitigación por capas que construye el resto de la parte II.