Chapitre 3 — GPU de centre de données pour l'IA générative

Troisième billet de la tournée chapitre par chapitre de LLM Primer VI : Mettre à l'échelle les systèmes IA. Le chapitre qui soutient qu'un GPU de service se choisit sur sa bande passante HBM et sa capacité VRAM, non sur le chiffre de FLOP/s au recto de la fiche technique.

Pourquoi ce chapitre existe

Les Chapitres 1 et 2 ont établi la charge : le préremplissage veut des moteurs matriciels saturés, le décodage veut que poids et cache KV défilent aussi vite que possible, et l'empreinte du cache KV croît de manière multiplicative. Le choix du silicium est là où ces deux profils rencontrent le marché. Le catalogue des GPU de centre de données en 2026 est un petit ensemble de cartes qui se ressemblent superficiellement — un accélérateur, quelques milliers de cœurs, une banque de mémoire embarquée — et qui divergent nettement sur les deux dimensions qui gouvernent réellement le coût du décodage : bande passante HBM et capacité VRAM. Le Chapitre 3 parcourt la gamme qui domine la production aujourd'hui — H100, H200, B200, L40S, MI300X — et donne à un ingénieur assez de mécanisme pour choisir une carte selon la charge, plutôt que se fier à une courbe de benchmark.

3.1 Le H100 est le choix sûr, le H200 est le patch bande passante

Le H100 reste le cheval de trait de presque toute flotte d'inférence de production qui n'a pas de raison précise d'être ailleurs. 80 Go de HBM3, 3,35 To/s de bande passante sur la variante SXM (2,04 To/s en PCIe), 989 TFLOPs BF16 et — crucialement — le FP8 natif dans les tensor cores, qui divise par deux le trafic de poids par token et laisse un modèle 70B tenir dans 70 Go plutôt que 140. La pile logicielle est mature ; les prix se sont stabilisés. Là où le H100 souffre, c'est en capacité : 80 Go plafonne un modèle 70B FP8 avec cache KV de service et impose le parallélisme tensoriel au-dessus. Le H200 est le correctif chirurgical — même calcul Hopper, même enveloppe 700 W, mais 141 Go de HBM3e et 4,80 To/s de bande passante. Pour toute charge qui était limitée HBM sur H100 (soit presque toute charge de décodage), le H200 est un gain de débit clé en main d'environ 40 pour cent depuis la seule bande passante, plus de la marge pour le cache KV que le H100 ne pouvait pas retenir.

3.2 Blackwell ajoute FP4 et double le plafond de bande passante

Le B200 n'est pas un rafraîchissement Hopper. 192 Go de HBM3e, 8,00 To/s de bande passante, 2 250 TFLOPs BF16 et un moteur transformer de seconde génération qui prend en charge FP4 nativement dans les tensor cores. FP4 divise à nouveau par deux le trafic de poids par token par rapport à FP8 ; combiné au doublement brut de bande passante, un modèle 70B qui décode à environ 24 tokens par seconde sur H100 dépasse confortablement 100 tokens par seconde sur B200 pour un utilisateur seul, et croît à peu près linéairement avec le batch. Les 192 Go de capacité retiennent un modèle 180B en FP8 sur une seule carte, ou un 70B en FP16 avec une marge KV substantielle, ce qui élimine le parallélisme tensoriel pour beaucoup de déploiements. Le coût est le prix et l'enveloppe thermique de 1 000 W ; les charges où Blackwell rembourse le plus manifestement sont celles où le H100 se battait contre un plafond de bande passante ou de capacité à chaque requête.

3.3 L40S et MI300X sont les choix selon la forme de la charge

Le L40S est la carte génération Ada pour les charges qui n'ont pas besoin d'une pièce de centre de données. 48 Go de GDDR6, 0,86 To/s de bande passante — environ un quart du débit HBM du H100 — mais un tiers du prix et un format PCIe standard. Pour les petits modèles (jusqu'à 13B environ), pour les charges batch asynchrones ou pour les déploiements en périphérie où un châssis HGX de centre de données n'est pas disponible, le L40S est la bonne réponse et acheter un H100 pour cela relève du gâchis. L'AMD MI300X est à l'autre extrémité du spectre : 192 Go de HBM3, 5,30 To/s de bande passante et 1 307 TFLOPs BF16 en OAM. En termes bruts de service, il est compétitif avec le H200 ou meilleur en capacité, égale à peu près la bande passante pour le décodage limité et arrive à un coût unitaire nettement plus bas. Le compromis est la pile logicielle — ROCm a comblé l'essentiel de l'écart face à CUDA sans le refermer entièrement, et les moteurs matures (vLLM, TensorRT-LLM, SGLang) sont mieux éprouvés sur NVIDIA. Pour les équipes qui ont la compétence ROCm, le MI300X est le levier de coût ; pour celles qui ne l'ont pas, le H200 est l'achat plus sûr.

Ce que prépare le Chapitre 3

Une fois la fiche du GPU relue avec le prisme bande passante et VRAM, la question suivante est de savoir si les GPU généralistes sont le bon substrat. Le Chapitre 4 parcourt les alternatives en silicium spécialisé — le LPU de Groq, AWS Inferentia2, les TPU Google v5p et v6, l'Intel Gaudi 3 — chacun étant l'argument que l'inférence LLM est assez régulière pour justifier une puce dédiée. Le Chapitre 5 aborde ensuite le mouvement côté logiciel qui rétrécit la bande passante par token directement : la quantification de FP16 vers FP8 puis FP4, qui transforme une charge limitée par la bande passante en une charge où le goulot se déplace.

Prochaine étape — Chapitre 4 : Silicium spécialisé et ASIC pour l'IA. Les accélérateurs dédiés — Groq, Inferentia2, TPU, Gaudi 3 — et les régimes où ils battent les GPU sur la latence ou le coût par token.