LLM Primer VI — Introducción a la serie e índice

Recorrido capítulo por capítulo de LLM Primer VI: Scaling AI Systems — el volumen que trata la inferencia LLM como una disciplina de ingeniería donde el ancho de banda de memoria, el scheduling y el signo del dólar colisionan.

Por qué existe esta serie

Un H100 alquilado a cuatro u ocho dólares por hora entrega 989 TFLOP/s de cómputo BF16. Un único usuario, generando una respuesta en tiempo real contra un modelo de 70B en ese chip, consume aproximadamente el 0,34 por ciento de ese cómputo. El chip está inactivo el 99,7 por ciento del tiempo — no porque la carga sea pequeña, sino porque la carga está limitada por el ancho de banda de memoria y las unidades de cómputo del chip no tienen nada que hacer mientras la HBM les hace pasar los pesos por delante. La ingeniería de inferencia es la disciplina de encontrar trabajo para esas unidades ociosas. Es una disciplina de batching, de contabilidad de la caché KV, de cuantización, de decodificación especulativa, de scheduling, y finalmente de plataforma, orquestación y coste. Cada técnica de este volumen es una variación del mismo movimiento: convertir el desperdicio limitado por ancho de banda en throughput sin romper la latencia que el usuario realmente siente.

El libro en una frase: el serving de LLMs es un problema de sistemas donde un bucle de decodificación limitado por ancho de banda, una caché KV del tamaño de una pequeña base de datos y una factura por token combinados determinan si un producto sobrevive al contacto con el tráfico real.

Para quién lo he escrito

Ingenieros de plataforma, SREs y arquitectos de infraestructura que se hacen cargo de la inferencia LLM a escala — la gente a la que llaman de madrugada cuando la latencia se dispara, cuyo gran renglón de presupuesto es la flota de GPUs y que tiene que explicarle a finanzas por qué la factura del mes pasado fue el doble que la del anterior. También está escrito para ingenieros de ML que entrenaron el modelo y ahora tienen que servirlo, y para ingenieros de backend que se encuentran de pronto siendo lo más parecido a un especialista de inferencia que tiene su equipo. El libro asume soltura con sistemas distribuidos y contenedores; no asume familiaridad previa con las tripas de una GPU ni con el patrón de memoria del transformer. Ambas cosas las construye desde los primeros principios.

Cómo leerlo

Los dieciséis capítulos se dividen en seis partes. Los Capítulos 1–2 nombran la carga — el bucle autorregresivo y la caché KV. Los Capítulos 3–4 recorren el silicio que la ejecuta, desde el H100 hasta la LPU de Groq. Los Capítulos 5–6 recorren las compresiones del lado del modelo — cuantización, pruning, destilación — que reducen la carga de ancho de banda. Los Capítulos 7–9 recorren las técnicas de runtime — batching, KV paginada, decodificación especulativa — que ocultan el tiempo muerto. Los Capítulos 10–13 recorren el stack de serving — motores, plataformas, desagregación, autoscaling — que convierte esas técnicas en un servicio. Los Capítulos 14–16 recorren el dinero: economía del token, autohost frente a API, y las jugadas de reducción de coste que se acumulan. Los capítulos se pueden leer en orden o entrar por tema, pero el encuadre mecanismo-primero depende de los Capítulos 1 y 2.

El recorrido en 16 capítulos

Entre el 23 de abril y el 8 de mayo el recorrido publica un capítulo al día. Cada artículo destila las tres ideas clave del capítulo en una lectura de cinco minutos, con el capítulo del libro aportando los ejemplos trabajados, el código y las cápsulas "In Plain English".

23 de abril — Capítulo 1 — La mecánica de la generación de tokens. El bucle autorregresivo, prefill frente a decoding, y por qué un único usuario deja un H100 inactivo al 99,7 por ciento.
24 de abril — Capítulo 2 — El desafío de la caché KV. La fórmula de memoria, los compromisos entre MHA/GQA/MQA, y por qué la asignación ingenua destroza la concurrencia.
25 de abril — Capítulo 3 — GPUs de centro de datos para IA generativa. H100, H200, B200, L40S, MI300X — leídos como perfiles de ancho de banda y VRAM, no como FLOPs.
26 de abril — Capítulo 4 — Silicio especializado y ASICs de IA. La LPU de Groq, Inferentia2, TPU v5p/v6 y Gaudi 3 — dónde ganan los ASICs y dónde pierden.
27 de abril — Capítulo 5 — Desmitificando la cuantización. Por qué pasar de FP16 a INT4 cuadruplica el throughput, y qué hacen realmente AWQ, GPTQ, SmoothQuant y GGUF.
28 de abril — Capítulo 6 — Pruning y destilación de conocimiento. Sparsity 2:4 en Hopper y cómo las etiquetas suaves de un profesor se convierten en un modelo estudiante más pequeño.
29 de abril — Capítulo 7 — Estrategias de batching avanzadas. Del batching estático al continuo con scheduling por iteración, y la deuda que crea el batching continuo.
30 de abril — Capítulo 8 — Gestión de caché KV de nueva generación. PagedAttention, eviction H2O, InfiniGen y la economía del caché de prefijos.
1 de mayo — Capítulo 9 — Decodificación especulativa. Draft, verify y la aritmética de cuándo compensa la especulación — EAGLE, Medusa, MTP.
2 de mayo — Capítulo 10 — La capa del motor LLM. vLLM, TensorRT-LLM, SGLang, TGI, Ollama, y cómo elegir un motor por mecanismo en vez de por benchmark.
3 de mayo — Capítulo 11 — La capa de plataforma y orquestación. Ray Serve, KServe, BentoML, Triton — qué plataforma encaja con qué cultura de operaciones.
4 de mayo — Capítulo 12 — Serving desagregado y Kubernetes. Separar prefill y decode en flotas distintas, y las primitivas de Kubernetes que lo expresan.
5 de mayo — Capítulo 13 — Autoscaling y mitigación de cold start. Por qué HPA es la métrica equivocada para LLMs, y cómo KEDA, Knative y CRIU componen cold starts de menos de cinco segundos.
6 de mayo — Capítulo 14 — Economía del token y precios de API. Por qué la salida se cobra por encima de la entrada, y cómo los tokens invisibles de razonamiento sorprenden en la factura.
7 de mayo — Capítulo 15 — APIs serverless frente a infraestructura dedicada. La aritmética del punto de equilibrio, más el renglón de ingeniería de plataforma que la mayoría de los equipos subestima.
8 de mayo — Capítulo 16 — Estrategias de reducción de coste en producción. Routing, compactación de contexto, APIs de batch y caché semántica — las jugadas que se acumulan.

Dónde encaja esto en la serie: los Volúmenes I–IV construyeron la mecánica del transformer, RAG, agentes y modalidad. El Volumen V recorrió la ingeniería a nivel de aplicación — el envoltorio determinista alrededor del núcleo probabilístico. El Volumen VI es la capa que hay debajo del envoltorio: cómo la propia llamada al modelo se sirve lo bastante rápida y barata para que el envoltorio sea económico. El Volumen VII cierra la serie con Seguridad de la IA — modelado de amenazas, guardrails y la regulación que ya está dando forma a cómo tiene que desplegarse todo lo anterior.

Sobre este libro y sobre la serie

La serie LLM Primer son siete volúmenes escritos por Sho Shimoda, publicados en Amazon KDP y leídos capítulo a capítulo aquí en el blog de ReceiptRoller. La serie sostiene que construir con LLMs es una disciplina de sistemas, y que esa disciplina se aprende mejor recorriendo cada capa del stack en prosa mecanismo-primero antes que en formato de checklist. El Volumen VI es el volumen de infraestructura — el que responde, capa a capa, a la pregunta de qué tiene que ser verdad sobre el hardware, el runtime y la plataforma para que una funcionalidad LLM sobreviva al tráfico real y a una revisión de finanzas.

Consigue un ejemplar. El libro incluye los ejemplos trabajados completos, el Python ejecutable para calibración y batching continuo, el YAML para KServe y Grove, y las cápsulas "In Plain English" que los artículos del recorrido solo resumen. LLM Primer VI en Amazon →