Capítulo 4 — Silício de IA Especializado e ASICs

Quarto post do passeio capítulo a capítulo pelo LLM Primer VI: Escalando Sistemas de IA. O capítulo que sustenta que a escolha entre uma GPU e um ASIC é uma pergunta de formato de carga — e entrega o formato.

Por que este capítulo existe

O campo pró-GPU argumenta que a inferência LLM é uma carga entre outras de uma classe ampla de problemas densos de matmul e que um acelerador programável é o substrato correto. O campo pró-ASIC argumenta que a inferência é específica, regular e previsível o suficiente para que um chip feito sob medida bata um chip geral nas duas métricas que importam — latência e custo por token. Ambos os campos têm razão sobre as cargas que escolhem. O Capítulo 4 percorre as alternativas ASIC de nível de produção às GPUs de data center em 2026 — LPU da Groq, AWS Inferentia2, Google TPU v5p e v6, Intel Gaudi 3 — e nomeia os regimes em que cada uma vence e os modos de falha que trazem os engenheiros de volta às GPUs.

Em uma linha: ASICs vencem GPUs quando a carga é crítica em latência ou sensível a custo e o modelo não muda com frequência — a pergunta do kernel e a pergunta da frequência de troca de modelo decidem o resto.

4.1 A Groq elimina a HBM para tornar a latência determinística

A LPU da Groq é o chip arquiteturalmente mais distintivo no mercado de aceleradores de produção: não tem HBM. O modelo inteiro vive em SRAM on-chip escalonada pelo compilador, distribuída entre muitos chips conectados por uma rede on-package determinística. Não há alocação dinâmica de memória, não há overhead de lançamento de kernel, não há jitter de escalonamento — cada execução da mesma entrada produz a mesma saída no mesmo número de nanossegundos. A métrica que sai disso é uma latência de decoding que GPUs não conseguem aproximar: um modelo de 70B a 200–500 tokens por segundo por requisição, contra 30–80 na H100. O custo arquitetural é o tamanho do modelo — a SRAM é limitada a centenas de megabytes por chip, então um modelo de 70B exige um rack de mais de 250 chips conectados pelo interconnect TSP da Groq, e o rack é a unidade de deployment. As cargas que pagam por esse rack são assistentes de voz sob um orçamento conversacional de 200 ms, autocompletar interativo de código, geração de sinais financeiros — em qualquer lugar em que o usuário percebe cada milissegundo.

4.2 Inferentia2 e TPU vencem em custo quando o modelo é estável

AWS Inferentia2 e Google TPU v5p/v6 atacam uma métrica diferente: dólares por milhão de tokens de saída. Ambos são feitos sob medida para serving em lote de regime estacionário, em que o portfólio de modelos é estreito, o orçamento de latência é frouxo e o volume é alto o suficiente para que uma economia de 40 a 60 por cento em relação às GPUs domine o custo de re-plataforma. A Inferentia2 expõe o Neuron SDK e roda vLLM através do contêiner oficial da AWS; o passo de compilação é pesado no primeiro load e cacheado depois disso. A TPU expõe JAX/XLA e roda através dos endpoints da Vertex AI Inference. Ambas as plataformas recompensam cargas que se parecem com elas mesmas dia após dia — tradução, moderação, pipelines de embedding, RAG sobre corpora estáveis — e ambas punem cargas que trocam de arquitetura de modelo com frequência, porque o caminho compile-then-cache é imposto como taxa a cada troca. A disciplina é escolher uma e padronizar; rodar ambas em escala de produção é uma taxa de re-plataforma dobrada.

4.3 A Gaudi 3 é a aposta Ethernet-first, e GPUs ainda vencem na fronteira

A Intel Gaudi 3 faz uma aposta estrutural diferente: em vez de um interconnect proprietário (NVLink, ICI, TSP), usa Ethernet 200/400 GbE de commodity para comunicação chip a chip, apostando que o scale-out Ethernet-nativo abaixa o custo operacional de grandes deployments. O software é o SynapseAI da Habana mais integrações com PyTorch Lightning, com suporte a vLLM em constante melhoria. A Gaudi 3 é precificada agressivamente contra H100 e MI300X e se posiciona como a "alavanca de custo com o menor atrito de migração" para times que querem a economia de ASIC sem uma camada nova de interconnect. Contra todas essas, GPUs ainda vencem em um regime: variedade de modelos, escala de fronteira e experimentação. Onde o time roda um modelo classe 405B, uma arquitetura de fronteira recém-lançada, uma variante custom fine-tuned ou um kernel de artigo de pesquisa, a profundidade do ecossistema CUDA e a posição first-to-market da NVIDIA se pagam. A heurística é a "pergunta do kernel" — se a stack roda FlashAttention padrão e MLP-fusionado padrão e nunca toca em nada mais, um ASIC é candidato; se a stack roda um kernel que alguém do time escreveu, uma GPU é a compra mais segura.

Vale a pena guardar: os três arquétipos de carga raramente se misturam. Tempo real de latência ultrabaixa → Groq. Alto volume em regime estacionário → Inferentia ou TPU. Variedade de modelos na fronteira → GPUs. Os erros caros vêm de estar em uma categoria e comprar em outra.

O que o Capítulo 4 prepara

Os capítulos 3 e 4 descreveram o substrato de hardware como ele está. Toda placa em oferta ou é limitada por banda de HBM (decoding em GPU), ou já se afastou dela por engenharia (Groq), ou precificou sua banda agressivamente para cargas estáveis (Inferentia, TPU, Gaudi). O Capítulo 5 volta ao movimento do lado do software que encolhe diretamente o peso da banda por token: quantização de FP16 para FP8 e FP4. O ganho de subir para Blackwell e o ganho de quantizar um modelo existente para FP8 são, mecanicamente, a mesma alavanca puxada em camadas diferentes da stack — e ambos costumam ser aplicados juntos.

Próximo — Capítulo 5: Desmistificando a Quantização. A queda de precisão de BF16 para FP8 e INT4, por que modelos grandes sobrevivem a ela, e o workflow de calibração que efetivamente vai para produção.

Quer o panorama completo? O capítulo do livro inclui exemplos executáveis de chamada para Groq, Inferentia2, TPU e Gaudi, a mecânica de cache do Neuron, a história da compilação JAX em TPU, e o quadro "In Plain English" sobre ler uma carga para escolher silício. Veja o LLM Primer VI na Amazon →