Capítulo 4 — Silicio especializado y ASICs de IA

Cuarta entrega del recorrido capítulo por capítulo de LLM Primer VI: Scaling AI Systems. El capítulo que sostiene que la elección entre una GPU y un ASIC es una pregunta sobre la forma de la carga — y te da la forma.

Por qué existe este capítulo

El bando GPU sostiene que la inferencia LLM es una carga más dentro de una clase amplia de problemas de matmul denso y que un acelerador programable es el sustrato correcto. El bando ASIC sostiene que la inferencia es lo bastante específica, regular y predecible como para que un chip a medida pueda vencer a uno general en las dos métricas que importan — latencia y coste por token. Ambos bandos tienen razón sobre las cargas que eligen. El Capítulo 4 recorre las alternativas ASIC de grado producción a las GPUs de centro de datos en 2026 — la LPU de Groq, AWS Inferentia2, TPU v5p y v6 de Google, Gaudi 3 de Intel — y nombra los regímenes donde cada una gana y los modos de fallo que devuelven al ingeniero a las GPUs.

4.1 Groq elimina HBM para hacer la latencia determinista

La LPU de Groq es el chip arquitectónicamente más distintivo del mercado de aceleradores de producción: no tiene HBM. El modelo entero vive en SRAM en-chip planificada por el compilador, distribuido entre muchos chips conectados por una red on-package determinista. No hay asignación dinámica de memoria, no hay overhead de lanzamiento de kernels, no hay jitter de scheduling — cada ejecución de la misma entrada produce la misma salida en exactamente el mismo número de nanosegundos. La métrica que sale es una latencia de decoding que las GPUs no pueden alcanzar: un modelo de 70B a 200–500 tokens por segundo por petición, frente a 30–80 en H100. El coste arquitectónico es el tamaño del modelo — la SRAM está acotada a cientos de megabytes por chip, por lo que un modelo de 70B requiere un rack de más de 250 chips conectados por el interconexión TSP de Groq, y el rack es la unidad de despliegue. Las cargas que pagan por ese rack son asistentes de voz bajo un presupuesto conversacional de 200 ms, autocompletado de código interactivo, generación de señales financieras — cualquier sitio donde el usuario percibe cada milisegundo.

4.2 Inferentia2 y TPU ganan en coste cuando el modelo es estable

AWS Inferentia2 y Google TPU v5p/v6 atacan otra métrica: dólares por millón de tokens de salida. Ambos están hechos a medida para serving batched en estado estable donde el catálogo de modelos es estrecho, el presupuesto de latencia es holgado y el volumen es suficiente para que un ahorro del 40–60 por ciento sobre GPUs domine el coste de re-plataformar. Inferentia2 expone el Neuron SDK y ejecuta vLLM a través del contenedor oficial de AWS; el paso de compilación es pesado en la primera carga y se cachea después. TPU expone JAX/XLA y se ejecuta a través de endpoints de Vertex AI Inference. Ambas plataformas recompensan las cargas que se ven iguales día tras día — traducción, moderación, pipelines de embeddings, RAG sobre corpus estables — y ambas castigan las cargas que cambian de arquitectura de modelo a menudo, porque el camino de "compila y cachea" es un impuesto en cada intercambio de modelo. La disciplina es elegir una y estandarizar; ejecutar ambas a escala de producción es un impuesto de re-plataformar duplicado.

4.3 Gaudi 3 es la apuesta Ethernet-first, y las GPUs siguen ganando la frontera

Intel Gaudi 3 hace una apuesta estructural distinta: en lugar de una interconexión propietaria (NVLink, ICI, TSP), usa Ethernet 200/400 GbE de commodity para la comunicación chip a chip, apostando a que un scale-out Ethernet-nativo baja el coste operativo de despliegues grandes. El software es SynapseAI de Habana más integraciones PyTorch Lightning, con soporte vLLM en mejora constante. Gaudi 3 tiene precio agresivo frente a H100 y MI300X y aterriza como "la palanca de coste con la menor fricción de migración" para equipos que quieren la economía de un ASIC sin una nueva capa de interconexión. Frente a todos estos, las GPUs siguen ganando en un régimen: variedad de modelos, escala de frontera y experimentación. En cualquier sitio donde el equipo corre un modelo de clase 405B, una arquitectura de frontera recién publicada, una variante fine-tuneada a medida o un kernel de artículo académico, la profundidad del ecosistema CUDA y la posición de primera-al-mercado de NVIDIA compensan. La heurística es la "pregunta del kernel" — si el stack corre FlashAttention estándar y MLP fusionadas estándar y nunca toca nada más, un ASIC es candidato; si el stack corre un kernel que alguien del equipo escribió, una GPU es la compra más segura.

Lo que prepara el Capítulo 4

Los Capítulos 3 y 4 han descrito el sustrato hardware tal cual está. Toda tarjeta a la venta o bien está limitada por el ancho de banda HBM (decoding en GPU), o bien se ha reingeniería para huir de él (Groq), o bien ha precios agresivos su ancho de banda para cargas estables (Inferentia, TPU, Gaudi). El Capítulo 5 pasa al movimiento del lado del software que reduce la carga de ancho de banda por token directamente: la cuantización de FP16 a FP8 y FP4. La ganancia de una actualización a Blackwell y la ganancia de cuantizar un modelo existente a FP8 son, mecanísticamente, la misma palanca tirada a distintas capas del stack — y ambas se aplican normalmente juntas.

Próximamente — Capítulo 5: Desmitificando la cuantización. El descenso de precisión de BF16 a FP8 a INT4, por qué los modelos grandes lo sobreviven, y el flujo de calibración que en la práctica sale a producción.