Kapitel 4 — Spezialisiertes KI-Silizium und ASICs

Vierter Beitrag im Kapitel-für-Kapitel-Walkthrough zu LLM Primer VI: KI-Systeme skalieren. Das Kapitel argumentiert, dass die Wahl zwischen einer GPU und einem ASIC eine Frage der Arbeitslast-Form ist — und gibt die Form vor.

Warum es dieses Kapitel gibt

Das GPU-Lager argumentiert, LLM-Inferenz sei eine Arbeitslast in einer breiten Klasse von dichten Matmul-Problemen und ein programmierbarer Beschleuniger sei das richtige Substrat. Das ASIC-Lager argumentiert, Inferenz sei so spezifisch, regelmäßig und prognostizierbar, dass ein zweckgebauter Chip einen allgemeinen bei den zwei Kennzahlen schlagen kann, die zählen — Latenz und Kosten pro Token. Beide Lager haben recht für die Arbeitslasten, die sie wählen. Kapitel 4 geht die produktionsreifen ASIC-Alternativen zu Rechenzentrums-GPUs im Jahr 2026 ab — Groqs LPU, AWS Inferentia2, Google TPU v5p und v6, Intel Gaudi 3 — und benennt die Regime, in denen jede gewinnt, sowie die Ausfallmodi, die Ingenieurinnen zu GPUs zurückbringen.

In einem Satz: ASICs schlagen GPUs, wenn die Arbeitslast entweder latenzkritisch oder kostensensibel ist und sich das Modell nicht oft ändert — die Kernel-Frage und die Frage nach der Modell-Änderungsfrequenz entscheiden den Rest.

4.1 Groq eliminiert HBM, um Latenz deterministisch zu machen

Die Groq LPU ist der architektonisch eigenwilligste Chip auf dem Produktions-Beschleunigermarkt: sie hat keinen HBM. Das gesamte Modell lebt in compiler-geplantem On-Chip-SRAM, verteilt auf viele Chips, die über ein deterministisches On-Package-Netzwerk verbunden sind. Es gibt keine dynamische Speicherallokation, keinen Kernel-Launch-Overhead, kein Scheduling-Jitter — jeder Durchlauf derselben Eingabe erzeugt dieselbe Ausgabe in exakt derselben Anzahl Nanosekunden. Die Kennzahl, die daraus fällt, ist eine Dekodierlatenz, die GPUs nicht erreichen: ein 70B-Modell mit 200–500 Tokens pro Sekunde pro Anfrage gegenüber 30–80 auf H100. Die architektonischen Kosten sind die Modellgröße — SRAM ist auf Hunderte Megabyte pro Chip begrenzt, sodass ein 70B-Modell ein Rack aus 250+ Chips benötigt, die über Groqs TSP-Interconnect verbunden sind, und das Rack ist die Deployment-Einheit. Die Arbeitslasten, die für dieses Rack bezahlen, sind Sprachassistenten unter einem 200-ms-Konversationsbudget, interaktive Code-Vervollständigung, Signalgenerierung im Finanzbereich — überall dort, wo der Nutzer jede Millisekunde spürt.

4.2 Inferentia2 und TPU gewinnen bei Kosten, wenn das Modell stabil ist

AWS Inferentia2 und Google TPU v5p/v6 greifen eine andere Kennzahl an: Dollar pro Million Output-Tokens. Beide sind zweckgebaut für stationäres, gebatchtes Serving, bei dem das Modellportfolio schmal, das Latenzbudget locker und das Volumen groß genug ist, dass eine Kostenersparnis von 40–60 Prozent gegenüber GPUs die Kosten der Re-Plattformierung dominiert. Inferentia2 exponiert das Neuron-SDK und führt vLLM über den offiziellen AWS-Container aus; der Kompilierungsschritt ist beim ersten Laden schwer und wird danach gecacht. TPU exponiert JAX/XLA und läuft über Vertex-AI-Inference-Endpoints. Beide Plattformen belohnen Arbeitslasten, die Tag für Tag gleich aussehen — Übersetzung, Moderation, Embedding-Pipelines, RAG über stabile Korpora — und beide bestrafen Arbeitslasten, die die Modellarchitektur häufig wechseln, denn der Kompilieren-dann-Cachen-Pfad ist eine Steuer auf jeden Modellwechsel. Die Disziplin besteht darin, eine zu wählen und zu standardisieren; beide in Produktionsgröße zu betreiben ist eine verdoppelte Re-Plattformierungssteuer.

4.3 Gaudi 3 ist die Ethernet-Wette, und GPUs gewinnen weiterhin an der Frontier

Intel Gaudi 3 macht eine andere strukturelle Wette: statt eines proprietären Interconnects (NVLink, ICI, TSP) nutzt er handelsübliches 200/400-GbE für die Chip-zu-Chip-Kommunikation, in der Annahme, dass Ethernet-nativer Scale-out die Betriebskosten großer Deployments senkt. Die Software ist Habanas SynapseAI plus PyTorch-Lightning-Integrationen mit stetig wachsender vLLM-Unterstützung. Gaudi 3 ist aggressiv gegen H100 und MI300X bepreist und landet als „Kostenhebel mit der geringsten Migrationsreibung" für Teams, die ASIC-Ökonomie ohne neue Interconnect-Schicht wollen. Gegen all das gewinnen GPUs weiterhin in einem Regime: Modellvielfalt, Frontier-Skala und Experimentation. Überall dort, wo das Team ein 405B-Klasse-Modell, eine frisch veröffentlichte Frontier-Architektur, eine benutzerdefinierte feingetunte Variante oder einen Research-Paper-Kernel betreibt, zahlt sich CUDAs Ökosystemtiefe und NVIDIAs First-Mover-Position aus. Die Heuristik ist die „Kernel-Frage" — wenn der Stack Standard-FlashAttention und Standard-Fused-MLP-Kernel ausführt und niemals etwas anderes anfasst, ist ein ASIC ein Kandidat; wenn der Stack einen Kernel ausführt, den jemand im Team geschrieben hat, ist eine GPU der sicherere Kauf.

Wert, das festzuhalten: Die drei Arbeitslast-Archetypen gehen selten ineinander über. Ultraniedrige Latenz in Echtzeit → Groq. Stationär hohes Volumen → Inferentia oder TPU. Modellvielfalt an der Frontier → GPUs. Die teuren Fehler entstehen, wenn man in einer Kategorie ist und in einer anderen einkauft.

Was Kapitel 4 vorbereitet

Die Kapitel 3 und 4 haben das Hardware-Substrat beschrieben, wie es dasteht. Jede angebotene Karte ist entweder durch HBM-Bandbreite beschränkt (GPU-Dekodierung), hat sich davon wegentwickelt (Groq) oder hat ihre Bandbreite aggressiv für stabile Arbeitslasten bepreist (Inferentia, TPU, Gaudi). Kapitel 5 wendet sich dem softwareseitigen Zug zu, der die Bandbreitenlast pro Token direkt schrumpft: Quantisierung von FP16 hinunter zu FP8 und FP4. Der Gewinn eines Blackwell-Upgrades und der Gewinn, ein bestehendes Modell auf FP8 zu quantisieren, sind mechanistisch derselbe Hebel, gezogen auf unterschiedlichen Schichten des Stacks — und beide werden meistens gemeinsam angewendet.

Als Nächstes — Kapitel 5: Quantisierung entmystifiziert. Der Präzisionsabfall von BF16 zu FP8 zu INT4, warum große Modelle das überleben und der Kalibrierungs-Workflow, der wirklich in Produktion geht.

Möchtest du das ganze Bild? Das Buchkapitel enthält lauffähige Groq-, Inferentia2-, TPU- und Gaudi-Aufrufbeispiele, die Mechanik des Neuron-Caches, die Kompilierungsgeschichte von JAX auf TPU und den „In Plain English"-Kasten dazu, wie man eine Arbeitslast liest, um Silizium zu wählen. LLM Primer VI auf Amazon →