Capítulo 16 — Estrategias de reducción de coste en producción

Última entrega del recorrido capítulo por capítulo de LLM Primer VI: Scaling AI Systems. El catálogo de movimientos ortogonales que se acumulan en un tercio o la mitad de la factura del mes pasado.

Por qué existe este capítulo

Los dos capítulos anteriores le dijeron al equipo dónde se va el dinero y le dieron un marco para decidir de qué lado de la línea API-frente-a-dedicado sentarse. Este capítulo es el catálogo de movimientos que el equipo puede hacer una vez esas decisiones están asentadas. Los movimientos son en gran medida independientes de la postura — ahorran dinero sobre una API, ahorran dinero sobre hardware dedicado, ahorran dinero en un arreglo híbrido — y se acumulan. Los equipos que los adoptan en secuencia habitualmente encuentran que su factura de inferencia, seis meses después de un esfuerzo enfocado en coste, es un tercio o la mitad de lo que era. Ninguno de los movimientos es exótico; todos requieren ingeniería deliberada; el coste de construirlos es pequeño en relación con lo que ahorran.

16.1 El routing inteligente de modelo es la palanca individual más grande

El tráfico de producción no es uniformemente difícil. La mitad o más de las peticiones son lo bastante simples como para un modelo de gama económica un orden de magnitud más barato que el de frontera; una fracción más pequeña necesita genuinamente el modelo frontera. El equipo que rutea todo hacia arriba paga 10–20× de más por las simples. La arquitectura correcta es un router que clasifica cada petición y despacha al tier más barato que pueda manejarla. El gradiente de coste al momento de escribir esto es aproximadamente 30:1 en entrada y 20:1 en salida entre frontera (15–30 $/M de salida) y gama económica (0,10–1 $/M). Las opciones de router van desde una heurística sobre la forma de la petición (longitud, formato, marcadores de uso de herramientas) hasta un pequeño clasificador de gama económica que emite una etiqueta de tier, hasta un router aprendido entrenado sobre datos históricos de qué-modelo-realmente-funcionó. Restricciones de diseño: barato y rápido (menos de 100 ms, décima de céntimo), observable (cada decisión logueada con rasgos y resultado), seguro por defecto (cuando hay incertidumbre, sube el routing — el coste de sobre-rutear es un dólar extra; el de infra-rutear es una regresión de calidad visible).

16.2 Compactación, APIs de batch y caché semántica compran cada una un trozo grande

La compactación de contexto ataca el crecimiento cuadrático de entrada que nombró el Capítulo 14. La forma más simple es una ventana rodante: mantén los últimos K turnos verbatim, sustituye todo lo anterior por un resumen de gama económica; la llamada de resumen cuesta una fracción de céntimo y encoge la entrada en cada turno posterior de miles de tokens de historia verbatim a cientos de resumen. Un compactador más sofisticado preserva ciertos tipos verbatim (código, salidas de herramientas, datos proporcionados por el usuario) y resume el resto. Las APIs asíncronas de batch a mitad de precio manejan cualquier carga sin presupuesto síncrono de latencia — resumido nocturno, re-clasificación, pre-generación para un A/B test, refresco de embeddings — la categoría es más grande de lo que los equipos reconocen inicialmente, y la ingeniería para mover una carga a batch es trivial. La caché semántica responde antes de que se llame al modelo: incrusta cada petición, busca en un índice vectorial de pares petición-respuesta anteriores, devuelve la respuesta cacheada si la similitud pasa un umbral. Dos usuarios preguntando "¿cuál es la política de devoluciones?" y "¿cómo devuelvo un artículo?" chocan con la misma entrada. En tráfico con forma de FAQ, tasas de acierto de caché del 30–50 por ciento son rutinarias, y el token más barato es el que nunca se genera.

16.3 Los movimientos se acumulan multiplicativamente, no aditivamente

Tomemos un agente cuya factura ha crecido a 4.000 $/mes con 1.000 consultas/día. Router: 60 por ciento gama económica, 30 por ciento intermedia, 10 por ciento frontera → coste mezclado cae al 28 por ciento de la tasa de frontera, la factura cae a 1.100 $. Compactación: la inflación de entrada se corta a la mitad, la factura cae a 770 $. Mueve el 20 por ciento a batch: 720 $. Caché semántica con 25 por ciento de acierto: 540 $. De 4.000 $ a 540 $ — una reducción del 86 por ciento — sin cambio visible para el usuario. Dos movimientos más se ganan su sitio incluso sin sección propia. Una auditoría de prompts — leer cada prompt con ojos frescos, borrando cualquier cosa que no pueda justificar sus tokens — típicamente encuentra un 10–20 por ciento del gasto que cortar sin cambio de comportamiento. Un techo explícito de max_tokens impide que una respuesta se estire a 2.000 tokens cuando la aplicación solo necesitaba 300 — casi 7× de sobre-pago en esa petición. El modelo mental es el del Libro IV: cada petición tiene un coste unitario, y el trabajo de ingeniería es rutear cada petición primero por capas baratas y llegar a la capa cara solo cuando es necesario.

Lo que cierra el Capítulo 16

El volumen abrió con el cuello de botella autorregresivo — el hecho irreducible de que la generación LLM es secuencial y de que el hardware que es tan bueno en aritmética paralela pasa la mayoría de su tiempo esperando a la memoria. Cada capítulo posterior fue una respuesta a ese hecho central en una capa distinta del stack. Los capítulos de hardware construyeron el sustrato físico. Los capítulos de nivel de modelo redujeron el modelo. Los capítulos de nivel de sistema extrajeron el máximo trabajo útil de cada ciclo de reloj. Los capítulos de motor y orquestación lo pusieron en producción. Los capítulos de economía describieron cómo el equipo que corre el sistema paga por él. Cada capa es una respuesta a la anterior, y la disciplina de correr LLMs a escala es la integración de todas ellas por las mismas personas, o al menos por personas que pueden hablarse entre sí en el mismo vocabulario.

El libro termina aquí. La serie continúa en el Volumen VII — Seguridad de la IA, que extiende la disciplina de ingeniería de producción de este volumen al modelado de amenazas, guardrails, sandboxing de código generado por modelos, mitigación de inyección de prompts, filtrado de salida y la regulación que ya está dando forma a cómo tiene que desplegarse todo lo anterior. La infraestructura construida a lo largo de este volumen — la flota de inferencia, la capa de routing, los sandboxes, los entornos de ejecución de agentes — es exactamente la infraestructura sobre la que se juegan las preocupaciones de seguridad del Volumen VII. Escalado y seguridad son dos caras del mismo problema: uno es la ingeniería del crecimiento, el otro es la ingeniería de la resiliencia a los ataques que ese crecimiento invita.