Kapitel 5 — Quantisierung entmystifiziert

Fünfter Beitrag im Kapitel-für-Kapitel-Walkthrough zu LLM Primer VI: KI-Systeme skalieren. Das Kapitel erklärt, warum ein 70B-Modell 4-Bit-Quantisierung überlebt, während ein 1B-Modell es nicht tut — und wie man das Rezept wählt.

Warum es dieses Kapitel gibt

Dekodierung ist speicherbandbreitengebunden; die Währung der Bandbreite ist Bytes pro Gewicht. Ein 70B-Modell in BF16 liest 140 GB pro Forward-Pass. Dasselbe Modell in INT4 liest 35 GB. Die Arithmetik ist identisch. Der Engpass bewegt sich um den Faktor vier. Diese eine Beobachtung ist der Grund, warum Quantisierung von einer Forschungskuriosität zum Standardpfad für Produktions-Inferenz geworden ist. Kapitel 5 geht die Mechanik ab — was Präzision tatsächlich bedeutet, warum aggressive Quantisierung ein großes Modell nicht so zerstört, wie sie ein kleines zerstört, was AWQ, GPTQ, SmoothQuant und GGUF unter der Haube wirklich tun und wo Quantisierung aufhört, sicher zu sein, und anfängt, die Qualität leise zu degradieren.

5.1 Warum große Modelle 4-Bit überleben und kleine nicht

Drei Beobachtungen tragen die Quantisierung großer Modelle. Erstens ist der Informationsgehalt eines einzelnen Gewichts in einem großen Transformer gering: das Vorhersageverhalten ergibt sich aus der kollektiven Interaktion von Milliarden Gewichten, deren Verteilung eng um null herum liegt. Ein Gewicht von 0,0031 auf 0,003 zu runden ändert nichts, was die nächste Schicht bemerken könnte. Zweitens sitzen trainierte Transformer in einer flachen Region des Parameterraums, in der viele benachbarte Konfigurationen nahezu identische Ausgaben erzeugen, und für Modelle ab etwa 30B ist diese Region breit genug, um 4-Bit-Störung mit einem MMLU-Verlust unterhalb eines Prozentpunkts zu absorbieren. Drittens erlaubt gemischte Präzision, sensible Schichten — Attention-Scores, Layer-Norms, die finalen Logits — in BF16 zu belassen, während die Masse der linearen Projektionen auf INT4 fällt. Ein 70B-Modell in INT4 ist empirisch kaum von seinem BF16-Selbst zu unterscheiden; ein 1B-Modell in INT4 ist merklich schlechter, weil die flache Region kleiner ist und die Störung das Modell hinausschiebt. Die naive Intuition — kleinere Modelle sollten sich leichter quantisieren lassen — ist genau falsch herum.

5.2 AWQ, GPTQ, SmoothQuant und GGUF tun unterschiedliche Dinge

GPTQ geht die Gewichtsmatrix Spalte für Spalte durch, wählt Quantisierungsstufen so, dass der Ausgangsfehler gegen ein kleines Kalibrierungsset minimal wird, und aktualisiert die noch nicht quantisierten Spalten, um den Rest zu absorbieren — eine hessianapproximierte Kompensation, die die Schichtausgabe nahe am Original hält. AWQ geht von einer anderen Beobachtung aus: Aktivierungs-Ausreißer zählen ebenso viel wie Gewichts-Ausreißer, also skaliert man die relevanten Gewichts­kanäle vor der Quantisierung hoch (und die Aktivierungen zum Ausgleich hinunter), was die Quantisierungsstufen über den Bereich verteilt, den diese Gewichte tatsächlich einnehmen. SmoothQuant greift die Aktivierungsseite an: LLMs haben eine Handvoll Kanäle mit enormen Beträgen, die naive Aktivierungsquantisierung ruinieren, also wandert die Ausreißer-Größe pro Kanal von den Aktivierungen in die Gewichte, sodass W8A8 mit vernachlässigbarem Verlust landet. GGUF ist eher ein Dateiformat als ein einzelner Algorithmus — die Q4_K_M-artige verschachtelte Super-Block-Skalierung, die llama.cpp für CPU- und Edge-Inferenz nutzt, ökologisch wichtig, aber auf Rechenzentrums-GPUs selten verwendet.

5.3 Die Sicherheitsleiter und die Kalibrierungsdisziplin

Die empirische Sicherheitsleiter ist sauber. BF16 → FP8 ist fast immer verlustfrei und ist der Standard für die Produktion. BF16 → INT8 ist verlustfrei ab ~7B mit einem kompetenten Algorithmus. BF16 → INT4 ist verlustfrei ab ~30B mit AWQ oder GPTQ; unter 13B kostet es ein bis drei MMLU-Punkte; unter 7B kostet es fünf oder mehr ohne quantisierungsbewusstes Training. INT3 und darunter ist experimentell. Zwei Disziplinen entscheiden, ob die Leiter in Produktion hält. Die erste ist Kalibrierung auf der richtigen Verteilung: 128–512 repräsentative Beispiele aus derselben Verteilung, aus der die Produktions-Arbeitslast zieht, alle sechs bis zwölf Monate neu ausgeführt, während die Arbeitslast driftet. Die zweite ist aufgabenseitige Evaluation: Standard-Benchmarks können Qualitätsverschiebungen im langen Ausläufer der Modellfähigkeit übersehen — seltene Fakten, mehrstufiges Reasoning, Code in Minderheitensprachen — und aggressive Quantisierung sollte gegen einen Ausschnitt echten Produktions-Traffics validiert werden, bewertet nach den Dimensionen, die für die Anwendung zählen.

Was Kapitel 5 vorbereitet

Quantisierung schrumpft Bytes pro Gewicht. Das nächste Kapitel schrumpft die Anzahl der Gewichte direkt. Kapitel 6 geht Pruning ab — einschließlich der 2:4-strukturierten Sparsity, die Hopper nativ beschleunigt — und Knowledge Distillation, bei der das Verhalten eines großen Lehrers in einen kleineren Schüler übertragen wird, der Ende-zu-Ende günstiger läuft. Zusammen bilden die drei Kompressionen (quantisieren, prunen, distillieren) das modellseitige Werkzeug, um die in Kapitel 1 benannte Bandbreitenlast zu senken. Kapitel 7 wendet sich dann dem laufzeitseitigen Hebel zu — Batching —, der die neu gewonnene Kopffreiheit in nebenläufigen Nutzer-Durchsatz umsetzt.

Als Nächstes — Kapitel 6: Pruning und Knowledge Distillation. Die zwei modellseitigen Kompressionen, die die Gewichtszahl statt der Gewichtsbreite angreifen.