Einführung in LLM
Diese Seite bietet einen Leitfaden zu großen Sprachmodellen (LLM), von den Grundlagen bis hin zu Anwendungen für KI-Enthusiasten.
Kapitel 10 — Die LLM-Engine-Schicht
vLLM als Python-nativer Standard, TensorRT-LLM als kompilierte Durchsatzwette, SGLang mit RadixAttention für agentische Präfixe — und wie man Engines nach Arbeitslastform statt Benchmark wählt.
2026-05-02
Kapitel 9 — Spekulatives Dekodieren
Wie ein günstiger Entwurf und eine leicht breitere Verifikationspass den sequenziellen Engpass durchbrechen — EAGLE, Medusa, MTP und die Arithmetik, wann Spekulation sich lohnt.
2026-05-01
Kapitel 6 — Pruning und Knowledge Distillation
2:4-Sparsity auf Hopper und Blackwell, Knowledge Distillation über die Verteilung des Lehrers und die Reihenfolge, in der Distill, Prune und Quantisierung sich zu einer 20-fachen Bandbreitenreduktion aufschichten.
2026-04-28
Kapitel 5 — Quantisierung entmystifiziert
Warum große Modelle 4-Bit-Quantisierung überleben und kleine nicht, was AWQ, GPTQ, SmoothQuant und GGUF tatsächlich tun und die Sicherheitsleiter FP8 → INT4 mit Kalibrierungsdisziplin.
2026-04-27
Kapitel 4 — Spezialisiertes KI-Silizium und ASICs
Groq LPU, AWS Inferentia2, Google TPU und Intel Gaudi 3: wann ASICs GPUs bei Latenz oder Kosten pro Token schlagen und wann GPUs an der Modellvielfalt gewinnen.
2026-04-26
Kapitel 3 — Rechenzentrums-GPUs für generative KI
H100, H200, B200, L40S und MI300X gelesen als Bandbreiten- und VRAM-Profile: Blackwell verdoppelt die Bandbreite und liefert FP4, MI300X ist der Kostenhebel, wo ROCm-Kompetenz vorhanden ist.
2026-04-25
Kapitel 1 — Die Mechanik der Token-Erzeugung
Die autoregressive Schleife ist mathematisch sequenziell, Prefill und Dekodierung belasten den Chip gegensätzlich, und ein einzelner Nutzer lässt eine H100 zu 99,7 Prozent leerlaufen.
2026-04-23
LLM Primer VI — Serieneinführung und Index
Serieneinführung und Index zum Kapitel-für-Kapitel-Walkthrough von LLM Primer VI: LLM-Inferenz als Ingenieursdisziplin, in der Speicherbandbreite, Scheduling und Kosten aufeinandertreffen.
2026-04-22
Kapitel 8 — Performance, Serving und Kosten optimieren
Letzter Beitrag der LLM-Primer-V-Tour. Die geschichtete Disziplin produktiver LLM-Ökonomie — der günstigste Aufruf ist der, der nie gemacht wird.
2026-04-21Kapitel 4 — Die richtige Vektordatenbank wählen
Vierter Beitrag der LLM-Primer-III-Tour. Die architektonische Trennung zwischen purpose-built Vektordatenbanken und Postgres-artigen Erweiterungen, die Managed-Leader (Pinecone, Vertex), das Open-Source-Feld (Qdrant, Milvus, Weaviate), die Embedded-Optionen und die drei operativen Achsen — Residency, Betrieb, Kosten — die die echte Wahl treffen.
2026-03-21Kapitel 9 — Leistung, Skalierung und Kosten: Die echten Engineering-Trade-offs
Kapitel 9 der LLM Primer I Serie. Die operativen Realitäten beim Betrieb von LLMs im großen Maßstab — Modellgröße versus Fähigkeit, der Trade-off zwischen Latenz und Throughput, Kostenökonomie, Quantisierung und Edge-Deployment. Warum Frontier-Modelle oft die falsche Wahl sind, selbst wenn du sie dir leisten kannst.
2026-02-26Kapitel 8 — LLMs in Anwendungen einsetzen: Chatbots, Code, Extraktion und Agenten
Kapitel 8 der LLM Primer I Serie. Die Anwendungsmuster, die wirklich in Produktion ausgeliefert werden — Chatbots, Zusammenfassung, Code-Assistenten, strukturierte Extraktion und der Aufstieg agentischer Systeme, in denen das Modell eine Tool-Use-Schleife steuert. Plus die Benchmarks, die jeder Ingenieur namentlich kennen sollte.
2026-02-25Eine Kapitel-für-Kapitel-Tour durch LLM Primer I — Einführung in die Serie und Index
Einführung und Index der zwölfteiligen Kapitel-für-Kapitel-Tour durch LLM Primer I: Wie generative KI funktioniert. Ein Post pro Tag, vom 18. Februar bis zum 1. März 2026. Lies sie in Reihenfolge oder wähle das Kapitel, das dich am meisten interessiert. Alle zwölf sind hier aufgelistet und verlinkt.
2026-02-17
Die LLM Primer Serie — Ein Feldhandbuch zur generativen KI, Band für Band aufgebaut
Die LLM Primer Serie — ein vollständiger siebenbändiger Feldführer zu generativer KI von Sho Shimoda. Von Grundlagen bis Sicherheit. Enthält Physical AI als Schwesterband. Alle 7 Bände auf Amazon erhältlich.
2026-02-15