Capítulo 3 — GPUs de centro de datos para IA generativa
Tercera entrega del recorrido capítulo por capítulo de LLM Primer VI: Scaling AI Systems. El capítulo que sostiene que debes comprar una GPU de serving por su ancho de banda de HBM y su capacidad de VRAM, no por el número de FLOP/s que aparece al frente de la hoja de especificaciones.
Por qué existe este capítulo
Los Capítulos 1 y 2 establecieron la carga: el prefill quiere las máquinas de matmul saturadas, el decoding quiere que los pesos y la caché KV se transmitan lo más rápido posible, y la huella de la caché KV escala de forma multiplicativa. La selección de silicio es donde esos dos perfiles se encuentran con el mercado. El catálogo de GPUs de centro de datos en 2026 es un conjunto pequeño de tarjetas que superficialmente se parecen — un acelerador, unos pocos miles de cores, un banco de memoria en el paquete — y divergen bruscamente en las dos dimensiones que en realidad gobiernan el coste de decoding: el ancho de banda de HBM y la capacidad de VRAM. El Capítulo 3 recorre el reparto que domina la producción hoy — H100, H200, B200, L40S, MI300X — y da a un ingeniero el mecanismo suficiente para elegir tarjeta para una carga concreta en vez de fiarse de un gráfico de benchmarks.
3.1 El H100 es el default seguro; el H200 es el parche de ancho de banda
El H100 sigue siendo el caballo de tiro de casi todas las flotas de inferencia en producción sin un motivo específico para estar en otra cosa. 80 GB de HBM3, 3,35 TB/s de ancho de banda en la variante SXM (2,04 TB/s en PCIe), 989 TFLOPs BF16 y — crucialmente — FP8 nativo en los tensor cores, que reduce a la mitad el tráfico de pesos por token y permite meter un modelo de 70B en 70 GB en vez de 140. El stack de software está maduro; el precio se ha estabilizado. Donde el H100 aprieta es en capacidad: 80 GB topan un modelo de 70B en FP8 más una caché KV de tamaño de batch de serving y fuerzan tensor parallelism a partir de ahí. El H200 es el arreglo quirúrgico — mismo cómputo Hopper, mismo sobre de 700 W, pero 141 GB de HBM3e y 4,80 TB/s de ancho de banda. Para cualquier carga que estuviera limitada por HBM en H100 (que es casi toda carga de decoding), el H200 es un aumento de throughput drop-in de aproximadamente un 40 por ciento solo por ancho de banda, más margen para la caché KV que el H100 no podía contener.
3.2 Blackwell añade FP4 y dobla el techo de ancho de banda
El B200 no es un refresh de Hopper. 192 GB de HBM3e, 8,00 TB/s de ancho de banda, 2.250 TFLOPs BF16 y un motor transformer de segunda generación que soporta FP4 nativo en los tensor cores. FP4 vuelve a reducir a la mitad el tráfico de pesos por token respecto a FP8; combinado con el doble de ancho de banda bruto, un modelo de 70B que decodifica a ~24 tokens por segundo en H100 supera cómodamente los 100 tokens por segundo en B200 para un único usuario, y escala aproximadamente lineal con el batch. Los 192 GB de capacidad sostienen un modelo de 180B en FP8 en una sola tarjeta y un 70B en FP16 con considerable margen de KV, lo que elimina el tensor parallelism de muchos despliegues. El coste es el precio y el sobre térmico de 1.000 W; las cargas donde Blackwell paga con mayor claridad son aquellas donde el H100 estaba peleando un techo de ancho de banda o de capacidad en cada petición.
3.3 L40S y MI300X son las elecciones de forma de la carga
El L40S es la tarjeta de generación Ada para cargas que no necesitan una pieza de centro de datos. 48 GB de GDDR6, 0,86 TB/s de ancho de banda y aproximadamente una cuarta parte del throughput HBM del H100 — pero un tercio del precio y factor de forma PCIe estándar. Para modelos pequeños (hasta 13B o así), para cargas de batch asíncronas o para despliegues en el edge donde un chasis HGX de centro de datos no está disponible, el L40S es la respuesta correcta y comprar un H100 para eso es desperdicio. La AMD MI300X está en el otro extremo del espectro: 192 GB de HBM3, 5,30 TB/s de ancho de banda y 1.307 TFLOPs BF16 en OAM. En términos brutos de serving es competitiva con el H200 o mejor en capacidad, empata aproximadamente en decoding limitado por ancho de banda y se despacha a un coste unitario significativamente menor. El intercambio es el stack de software — ROCm ha cerrado la mayoría de la brecha frente a CUDA pero no toda, y los motores maduros (vLLM, TensorRT-LLM, SGLang) están más rodados sobre NVIDIA. Para equipos con la competencia ROCm, la MI300X es la palanca de coste; para equipos sin ella, el H200 es la compra más segura.
Lo que prepara el Capítulo 3
Una vez que la hoja de especificaciones de la GPU se ha releído con la lente de ancho de banda y VRAM, la pregunta natural siguiente es si las GPUs de propósito general son en realidad el sustrato adecuado. El Capítulo 4 recorre las alternativas de silicio especializado — la LPU de Groq, AWS Inferentia2, TPU v5p y v6 de Google, Gaudi 3 de Intel — cada una de las cuales es un argumento a favor de que la inferencia LLM es lo bastante regular como para justificar un chip hecho a medida. El Capítulo 5 recorre luego el movimiento del lado del software que reduce el ancho de banda por token directamente: la cuantización desde FP16 hasta FP8 y FP4, que convierte una carga limitada por ancho de banda en una cuyo cuello de botella se desplaza.
Próximamente — Capítulo 4: Silicio especializado y ASICs de IA. Los aceleradores hechos a medida — Groq, Inferentia2, TPU, Gaudi 3 — y los regímenes donde ganan a las GPUs en latencia o coste por token.
