Capítulo 3 — GPUs de Data Center para IA Generativa

Terceiro post do passeio capítulo a capítulo pelo LLM Primer VI: Escalando Sistemas de IA. O capítulo que defende que você deve comprar uma GPU de serving pela sua banda de HBM e capacidade de VRAM, não pelo número de FLOP/s na capa da ficha técnica.

Por que este capítulo existe

Os capítulos 1 e 2 estabeleceram a carga de trabalho: o prefill quer os motores de matriz saturados, o decoding quer pesos e KV cache transmitidos o mais rápido possível, e a pegada do KV cache escala multiplicativamente. A seleção de silício é o ponto em que esses dois perfis encontram o mercado. O catálogo de GPUs de data center em 2026 é um conjunto pequeno de placas que parecem superficialmente semelhantes — um acelerador, alguns milhares de núcleos, um banco de memória on-package — e divergem fortemente nas duas dimensões que efetivamente governam o custo de decoding: banda de HBM e capacidade de VRAM. O Capítulo 3 percorre a linha que domina a produção hoje — H100, H200, B200, L40S, MI300X — e dá a um engenheiro mecanismo suficiente para escolher uma placa para uma dada carga em vez de confiar em um gráfico de benchmark.

Em uma linha: para serving, os dois números da ficha técnica que importam são banda de HBM (quão rápido pesos e KV são transmitidos) e VRAM (que tamanho de modelo cabe antes de você ter de ir para multi-GPU) — o número de FLOP/s importa, principalmente, para o prefill.

3.1 A H100 é o default seguro; a H200 é o patch de banda

A H100 continua sendo a maria-vai-com-as-outras de quase toda frota de inferência de produção sem razão específica para estar em outra coisa. 80 GB de HBM3, 3,35 TB/s de banda na variante SXM (2,04 TB/s em PCIe), 989 TFLOPs BF16 e — crucialmente — FP8 nativo nos tensor cores, o que reduz pela metade o tráfego de pesos por token e permite que um modelo de 70B caiba em 70 GB em vez de 140. A stack de software é madura; os preços estão estabilizados. Onde a H100 aperta é na capacidade: 80 GB limitam um modelo de 70B em FP8 mais um KV cache para batch de serving e forçam paralelismo tensorial acima disso. A H200 é a correção cirúrgica — mesma computação Hopper, mesmo envelope de 700 W, mas 141 GB de HBM3e e 4,80 TB/s de banda. Para qualquer carga que estivesse limitada por HBM em H100 (o que é quase toda carga de decoding), a H200 é um ganho de throughput drop-in de cerca de 40 por cento apenas pela banda, além de folga para o KV cache que a H100 não conseguia segurar.

3.2 A Blackwell adiciona FP4 e dobra o teto de banda

A B200 não é um refresh de Hopper. 192 GB de HBM3e, 8,00 TB/s de banda, 2.250 TFLOPs BF16 e uma segunda geração do transformer engine que suporta FP4 nos tensor cores nativamente. FP4 reduz mais uma vez pela metade o tráfego de pesos por token em relação ao FP8; combinada com a duplicação bruta de banda, um modelo de 70B que decodifica a ~24 tokens por segundo em H100 supera confortavelmente 100 tokens por segundo em B200 para um único usuário, e escala aproximadamente de forma linear com o batch. Os 192 GB de capacidade seguram um modelo de 180B em FP8 em uma placa e um 70B em FP16 com folga substancial de KV, o que remove o paralelismo tensorial de muitos deployments. O custo é o preço e o envelope térmico de 1.000 W; as cargas em que a Blackwell mais obviamente se paga são aquelas em que a H100 lutava contra um teto de banda ou de capacidade a cada requisição.

3.3 L40S e MI300X são as escolhas por formato de carga

A L40S é a placa da geração Ada para cargas que não precisam de uma peça de data center. 48 GB de GDDR6, 0,86 TB/s de banda e cerca de um quarto do throughput de HBM da H100 — mas por um terço do preço e em um fator de forma PCIe padrão. Para modelos pequenos (até cerca de 13B), para cargas de batch assíncrono ou para deployments de borda em que não há um chassi HGX de data center, a L40S é a resposta certa e comprar uma H100 para isso é desperdício. A AMD MI300X é o outro extremo do espectro: 192 GB de HBM3, 5,30 TB/s de banda e 1.307 TFLOPs BF16 em OAM. Em termos brutos de serving, é competitiva com a H200 ou melhor em capacidade, empata aproximadamente em decoding limitado por banda e chega a um custo unitário significativamente menor. O trade é a stack de software — o ROCm fechou a maior parte do gap contra o CUDA, mas não todo, e os engines maduros (vLLM, TensorRT-LLM, SGLang) têm mais estrada em NVIDIA. Para times com competência em ROCm, a MI300X é a alavanca de custo; para times sem essa competência, a H200 é a compra mais segura.

Vale a pena guardar: leia a ficha técnica nesta ordem: VRAM (o modelo cabe?), banda de HBM (quão rápido o decoding roda?), suporte a FP8/FP4 (quanto a quantização compra de volta?), depois FLOP/s. Ler na ordem inversa — a ordem de marketing — compra a placa errada.

O que o Capítulo 3 prepara

Uma vez que a ficha técnica da GPU foi relida pela lente de banda e VRAM, a próxima pergunta natural é se GPUs de propósito geral são o substrato certo. O Capítulo 4 percorre as alternativas de silício especializado — LPU da Groq, AWS Inferentia2, Google TPU v5p e v6, Intel Gaudi 3 — cada uma delas um argumento de que a inferência LLM é regular o suficiente para justificar um chip feito sob medida. O Capítulo 5, em seguida, percorre o movimento do lado do software que encolhe a banda por token diretamente: a quantização de FP16 para FP8 e FP4, que transforma uma carga limitada por banda em uma carga cujo gargalo se desloca.

Próximo — Capítulo 4: Silício de IA Especializado e ASICs. Os aceleradores feitos sob medida — Groq, Inferentia2, TPU, Gaudi 3 — e os regimes em que vencem GPUs em latência ou custo por token.

Quer o panorama completo? O capítulo do livro inclui a tabela comparativa completa de especificações com MSRP e TDP, a aritmética do paralelismo tensorial quando o teto de VRAM força multi-GPU, a distinção SXM-versus-PCIe que costuma confundir benchmarks, e o quadro "In Plain English" sobre como ler uma ficha técnica para serving de LLM. Veja o LLM Primer VI na Amazon →