Einführung in LLM
Diese Seite bietet einen Leitfaden zu großen Sprachmodellen (LLM), von den Grundlagen bis hin zu Anwendungen für KI-Enthusiasten.
Kapitel 13 — Autoscaling und Cold-Start-Minderung
Warum HPA für LLMs vier spezifische Fehlermodi hat, wie KEDA auf Queue-Tiefe, TTFT und KV-Belegung skaliert und wie CRIU einen 90-Sekunden-Cold-Start auf 3–6 Sekunden schrumpft.
2026-05-05
Kapitel 12 — Disaggregiertes Serving und Kubernetes
Prefill und Decode auf separate GPU-Pools trennen, den KV-Cache über NVLink oder InfiniBand transportieren und die Topologie über LeaderWorkerSet, Grove und KAI Scheduler festhalten.
2026-05-04
Kapitel 11 — Die Plattform- und Orchestrierungsschicht
Ray Serve, KServe, BentoML und Triton als vier Antworten auf Replicas, Tenants, Ketten und Quoten — die Wahl ist eine Frage der Ops-Kultur, keine Featureliste.
2026-05-03
LLM Primer VI — Serieneinführung und Index
Serieneinführung und Index zum Kapitel-für-Kapitel-Walkthrough von LLM Primer VI: LLM-Inferenz als Ingenieursdisziplin, in der Speicherbandbreite, Scheduling und Kosten aufeinandertreffen.
2026-04-22